토론토대 수학과 교수 대니얼 리트(Daniel Litt)가 자신의 블로그에 '수학의 시작(A Beginning for Mathematics)'이라는 글을 올렸다. 그는 불과 3년 전만 해도 AI가 두 수의 덧셈조차 안정적으로 하지 못했지만, 1년 전에는 오픈AI와 딥마인드의 내부 모델이 국제수학올림피아드(IMO) 금메달에 해당하는 점수를 받았고, 지금은 이 시스템들이 주요 미해결 문제를 스스로 풀어내고 있다고 말한다. 그는 이런 추세가 앞으로도 계속되리라 보며, 그것이 수학이라는 직업 자체의 근본적 재고를 요구한다고 진단한다.
흥미로운 점은 리트가 AI 활용에 비교적 우호적인 연구자라는 사실이다. 그는 얼마 전 '수학의 종말'이라는 제목의 강연을 했는데, 이는 AI가 수학을 '풀어버린다'는 이야기가 아니라, 초인적 성능의 AI가 등장하더라도 학계 제도가 적응하지 못하면 인간의 수학적 이해와 진보가 정체될 수 있다는 우울한 전망을 다룬 것이었다. 이번 글은 그 반대편, 즉 긍정적 미래상을 제시하려는 시도다. 그의 핵심 주장은 수학적 결과의 생산이 인간에게 덜 의존하게 되더라도 인간의 이해는 오히려 더 깊어질 수 있다는 것이다.
정리 증명은 목표가 아니다
리트는 수학 공동체가 무엇을 목표로 하는지에 대한 합의조차 없다고 지적한다. 누군가는 문제 풀이를, 누군가는 놀이나 시(詩)를, 누군가는 수학에 대한 사랑을 다음 세대에 전하는 것을 목표로 삼는다. 그럼에도 학계는 이 모든 것을 '정리를 증명하는 일'로 환원해 운영해 왔다. 거의 모든 논문과 박사학위 논문에는 주요 정리와 그 증명이 있다. 그러나 그는 정리 증명 자체가 목표라면 그것은 자동화가 자명하다고 말한다. 원숭이나 컴퓨터가 ZFC 공리에서 출발해 규칙을 기계적으로 적용하거나, 모든 명제를 알파벳순으로 나열하기만 해도 되기 때문이다. 정리를 증명하고 난제를 푸는 기술에 대한 학계의 반응은, 이러한 조작적 정의가 기껏해야 불완전하다는 점을 드러낸다.
그렇다면 결과를 이해하고 아름다운 해설까지 쓰는 '똑똑한 기계'가 있다면 인간 수학자는 불필요할까. 리트는 그렇지 않다고 본다. 그런 기계는 우리가 가치 있게 여기는 답을 내놓을 수 있지만, 그 답에 대한 인간의 이해를 만들어내지는 못한다. 오히려 그는 지금이 수학의 놀라운 폭발적 성장의 시작점이며, 인간의 이해를 중시한다면 그 어느 때보다 많은 인간 수학자가 필요해질 것이라고 주장한다.
제도가 아니라 가치를 지켜야 한다
리트는 지금까지의 논의가—자신의 과거 글을 포함해—학술지, 동료 심사, arXiv, 게이트키퍼로서의 역할 같은 '제도의 형태'를 지키는 데 치우쳤다고 반성한다. 현재의 AI가 수백 달러 수준의 한계비용으로 지난해 기준 최상위 학술지 논문에 필적하는 결과물을 생성할 수 있다는 사실을 받아들인다면, 기존 균형이 그대로 유지된다는 생각은 비현실적이라는 것이다. 그는 이 문제의 본질이 AI 연구소들의 윤리적·비윤리적 행태가 아니라 기술 그 자체에 있다고 강조한다. 거품이 꺼지거나 연구소가 수학에서 손을 떼기를 기대하는 것은 대책이 될 수 없다. 'AI는 당신이 반(反)AI인지 신경 쓰지 않는다'는 것이다.
또한 그는 지금 AI가 상대적으로 약한 영역—이론 구축, 질문 던지기, 해설—을 좇아 그 능력만 보상하는 전략도 현명하지 않다고 본다. 학계가 적응하는 속도보다 모델의 능력이 향상되는 속도가 빠르기 때문이다. 특정 영역에서 모델이 계속 무능하다면 그때 가서 조정하면 된다는 것이 그의 입장이다.
박사과정과 채용을 다시 설계하라
가장 시급한 질문은 '학생들이 무엇을 해야 하는가'다. 이제는 스스로 읽지도 않은 박사학위 논문을 만들어낼 수 있으며, 수학적 텍스트는 그것을 쓴 사람의 이해 수준에 대한 신호로서의 가치를 잃었다. 그동안 학계는 수학적 진보와 수학적 전문성을 같은 신호로 판별해 왔지만, 이제 둘은 분리되어야 한다. 리트는 박사학위의 목표를 '어떤 깊고 흥미로운 주제의 세계적 전문가가 되고 그 흥미와 이해를 남에게 전달할 수 있게 되는 것'으로 재정의하자고 제안한다. 학위는 주로 엄격한 구술 심사에 근거해 수여되며, 주제의 출처가 AI든 아니든 상관없다는 것이다.
채용과 대학원 입학 같은 자원 배분 영역도 개혁 대상이다. 그는 자동화할 수 없는 부분—수학을 이해하는 내적 능력과 사회적·관계적 능력—을 보상해야 하며, 발표와 지속적인 수학적 토론이 이제 논문보다 이해를 더 잘 보여준다고 말한다. 교수 채용에서 면접을 하듯 대학원 입학에서도 그래야 한다는 것이다. 나아가 그는 공동체가 과소평가해 온 기능, 즉 '무엇이 흥미로운가를 가려내는 일'에 주목한다. AI가 수학을 잘하는 것도 결국 인간 수학자들이 관심을 둔 미해결 추측이 존재하기 때문이며, 연구 프로그램의 가치를 남들에게 설득하는 능력을 보상하는 방안이 하나의 대안일 수 있다.
리트의 제안은 실행 방법에서 여전히 모호한 지점이 많다. 구술 심사 중심 학위나 대학원 면접이 실제 어떤 기준으로 운영될지, '흥미로움'을 어떻게 조작적으로 정의할지는 열린 문제로 남는다. 다만 그가 제안하는 변화들의 공통 방향—서로 더 많이, 더 깊이 수학을 이야기하게 만드는 것—은 AI가 없는 세계에서도 긍정적이라는 점에서 설득력이 있다. 그는 아마추어든 전문가든 버튼 하나로 수학을 생산하는 흐름을 막을 수 없고 막아서도 안 된다고 본다. 역사상 지금처럼 수학에 대한 관심이 높았던 적이 없으며, 그 결과물의 가치는 결국 그것과 씨름하는 인간 공동체에서 나온다는 것이 그의 결론이다.