생성형 AI가 교육을 바꿀 기술로 거론될 때 가장 자주 등장하는 약속이 '모든 학생에게 개인 교사'다. 칸아카데미의 AI 튜터 칸미고(Khanmigo)는 이 비전을 상징하는 서비스 중 하나다. 그런데 이 약속이 실제 학교 현장에서 얼마나 작동하는지를 대규모 무작위 대조 실험으로 검증한 연구가 공개됐다. 미국 테네시주 18개 중학교에서 2년에 걸쳐 진행된 군집 무작위 배정 실험으로, 무작위로 배정된 학생들이 기존의 매일 보충 수학 수업 시간에 칸아카데미와 칸미고를 사용했다. 주목할 점은 이 AI 튜터가 답을 바로 알려주는 대신 학생을 '코치'하도록, 즉 스스로 풀도록 유도하게 설정됐다는 것이다.
효과는 분명하지만 AI만의 몫은 아니었다
결과부터 보면 AI 튜터 접근권을 배정받은 것은 수학 성취도를 끌어올렸다. 한 학기당 전국 백분위 기준 1.3포인트, 1년으로 환산하면 약 0.06~0.08 표준편차에 해당하는 향상이다. 1년 내내 적극적으로 참여한 학생을 기준으로 추정하면 효과는 0.14 표준편차까지 올라간다. 교육 연구에서 이 정도 효과 크기는 결코 작지 않으며, 저비용으로 대규모 적용이 가능하다는 점을 감안하면 실무적으로 의미가 있다.
다만 연구가 던지는 진짜 메시지는 여기서 갈린다. 이 향상 폭이 AI 지원 없이 칸아카데미 연습 문제만 풀었을 때 얻는 효과와 비슷했다는 것이다. 다시 말해 성적이 오른 것은 맞지만, 그 상승분이 'AI 튜터'라는 새로운 요소에서 비롯됐다고 보기는 어렵다. 꾸준한 문제 풀이 자체가 만들어낸 효과에 AI가 특별히 무언가를 더 얹었다는 증거는 이 실험에서 나타나지 않았다.
접근권을 줘도 쓰지 않는다
왜 AI가 추가 효과를 내지 못했을까. 연구진이 제시하는 설명은 기술의 성능이 아니라 '사용량'이다. 학생의 96퍼센트가 칸미고를 한 번 이상 시도해봤지만, 중앙값 기준으로 학생이 실제로 튜터에게 메시지를 보낸 날은 연습한 날의 3분의 1에 불과했다. 더 결정적인 것은, 문제를 틀린 세션 가운데 칸미고에 말을 건 경우가 17퍼센트뿐이었다는 점이다. 틀렸을 때야말로 튜터의 도움이 가장 필요한 순간인데, 바로 그때 대부분의 학생이 AI를 외면한 셈이다.
게다가 학생들이 보낸 메시지의 질도 낮았다. 상당수가 수학적 대화라기보다 단순히 답만 적어 넣거나, 화면에 추천된 프롬프트를 클릭하는 수준에 머물렀다. 답을 알려주지 않고 사고 과정을 끌어내도록 설계된 코칭형 튜터의 잠재력은, 학생들이 깊이 있는 질문과 설명을 주고받을 때 발휘된다. 그러나 현장에서 관찰된 상호작용은 그런 '실질적 수학 대화'와는 거리가 멀었다.
실무자가 가져갈 함의
이 연구가 교육 현장과 에듀테크 도입을 고민하는 실무자에게 주는 교훈은 명확하다. 병목은 기술의 성능이 아니라 '참여(engagement)'에 있다. AI 튜터를 도입하고 학생에게 접근 권한을 부여하는 것만으로는 약속된 효과가 자동으로 실현되지 않는다. 학생이 적절한 순간에, 특히 막히고 틀렸을 때 AI에게 말을 걸고 의미 있는 대화를 이어가도록 만드는 설계와 교사의 개입이 없다면, AI 튜터는 고급 연습 문제집 이상의 역할을 하기 어렵다.
이는 기업 내부의 AI 도구 도입에도 그대로 적용되는 패턴이다. 라이선스를 깔아주고 '마음껏 쓰라'고 안내하는 것과, 실제로 핵심 업무 흐름 속에서 도구를 습관적으로 활용하게 만드는 것은 전혀 다른 문제다. 도입률(한 번이라도 써봤는가)과 실사용률(필요한 순간에 실제로 쓰는가) 사이의 간극을 메우는 설계가 성과를 좌우한다.
물론 이 실험에도 한계는 있다. 테네시주 중학교의 보충 수학 수업이라는 특정 맥락에서 얻은 결과이며, 칸미고가 코칭 모드로 설정된 특정 조건을 전제한다. 제품 개선, 연령대, 과목, 사용 유도 방식이 달라지면 결과는 충분히 달라질 수 있다. 그럼에도 '접근권만으로는 부족하고 참여를 설계해야 한다'는 결론은, AI 교육 도구를 둘러싼 과도한 기대를 현실적인 실행 과제로 되돌려 놓는다는 점에서 곱씹을 가치가 있다.