수학자 테런스 타오의 블로그에 제러미 아비가드(Jeremy Avigad)의 기고문 'The Future of Mathematics'가 올라왔다. 글쓴이는 Lean 정리 증명기를 개발하는 비영리조직 Lean FRO를 지원하는 Convergent Research의 스타트업 모임에 참석한 경험에서 논의를 풀어낸다. 그는 수학계의 반응이 블로그 'Proofs and Prompts' 등에서 대체로 긍정적이고 고무적이라고 전하면서도, 일상적 연구 방식의 근본이 바뀔 수밖에 없음을 함께 인정한다. 한국의 IT·연구 실무자에게 이 글은 단순한 수학계 담론을 넘어, 생성형 AI가 지식노동의 '결과물'과 '이해' 사이의 연결을 어떻게 끊어놓는지를 보여주는 사례로 읽을 가치가 있다.
문제 풀이와 이해의 분리
아비가드는 수학자의 좁은 정의를 이렇게 요약한다. 문제를 풀고, 너무 어려우면 더 쉬운 근사 문제를 만들어 풀고 매개변수를 바꿔본다는 것. 그런데 최근 몇 달 사이, 1년 전이라면 번듯한 논문이 되었을 결과들이 이제 AI의 도움으로 손쉽게 생성된다. 핵심 문제는 '수학이 여전히 필요한가'가 아니라, AI에게 일을 맡기는 순간 문제 풀이가 수학적 이해라는 목표와 분리된다는 점이다. 그는 수학을 수 세기의 변화 속에서도 유지된 '엄밀한 추론과 소통의 문화', 즉 더 신뢰할 수 있고 효율적으로 사고하게 해주는 언어와 추상의 체계로 재정의하며, 그런 추론은 AI 시대에도 여전히 중요하다고 본다.
현재의 파운데이션 모델에는 두 가지 특징이 있다. 수학 문헌 전체를 학습했다는 점, 그리고 지치지 않는다는 점이다. 에이전트 떼가 무수한 변형을 시도하며 해답에 이른다. 아비가드는 매슈 발라드(Matthew Ballard)의 분석을 빌려, 지금까지 공개된 'AI가 푼 난제'들이 비슷한 성격을 띤다고 지적한다. 모두 기존 기법들을 짜맞춰 풀 수 있는 문제였다는 것이다. 강화학습 기반 훈련은 최종 궤적의 성공 여부만으로 행동의 가치를 매기기 때문에 '초인적 영리함'은 길러내지만, 창의성이나 상위 수준의 전략 수립은 놓칠 수 있다.
리만의 강의가 말해주는 것
그는 역사적 사례로 리만을 든다. 1853년 괴팅겐대 교수직을 위한 강의 주제로 가우스는 리만이 가장 준비가 덜 된 것을 골랐고, 그 결과 탄생한 '기하학의 기초에 놓인 가설들에 관하여'는 1868년 사후 출판되어 분야를 뒤바꿨다. 공간의 계량적 성질과 위상적 성질을 구분하고 다양체(manifold) 개념을 도입한 이 강의는 수십 년 뒤 아인슈타인의 일반상대성이론으로, 나아가 로봇공학·의료영상·통계분석으로까지 이어졌다. 아비가드는 다시 발라드를 인용해, 어떤 강화학습 설정도 리만의 선택을 평가할 수 없었을 것이라고 말한다. 이득이 분산되어 추적하기 어렵고 시간 지평이 너무 길기 때문이다. 윌리엄 이월드의 'From Kant to Hilbert'에 실린 펠릭스 클라인의 회고처럼, 당대 젊은 수학자들에게 어둡고 난해했던 리만의 사유는 이제 정전이 되어 파운데이션 모델도 학습으로 내재화한 지식이 되었다.
가치를 정하는 것은 사람이다
갈루아의 순열군, 푸앵카레의 동역학계 정성 연구, 그로텐디크의 개념적 혁신을 열거하며 그는 'AI가 언젠가 이런 도약을 이룰 수 있는가'는 올바른 질문이 아니라고 단언한다. 어떤 AI 에이전트가 자기들끼리 흥미로워하는 정리를 쏟아낸들 우리에게는 의미가 없다. 결과가 우리에게 흥미롭고 중요한 한에서만 AI는 가치가 있으며, 그 기준을 정하는 것은 결국 사람이라는 것이다. 알래스카 배낭여행에 비유하자면, 항공권 예약은 AI에게 맡겨도 하이킹 자체를 AI가 대신하고 사진만 보내주길 바라지는 않는다. 수학에서 걸린 것은 오락이 아니라 '우리 추론과 숙고에 대한 주도권'이다.
아비가드는 AI가 수학의 의미를 바꾸는 일에 선례가 있다고 본다. 17세기 기하 문제에 대한 대수적 방법, 무한소, 19세기 대수적 구조, 20세기 초 집합론적 추상과 구조적 언어, 그리고 비교적 최근의 수치·기호 계산이 모두 처음엔 낯설고 불편했지만 결국 숙달되었다. 그는 증명 보조기와 신경망을 수학 발견에 활용하는 이들을 '단순 기술자'로 치부할 것이 아니라 엄연한 수학 연구로 인정해야 한다고 주장한다. 기호 자동화를 개발하거나 신경망을 훈련하는 일이 손으로 추론을 이어 정리를 증명하는 일 못지않은 기여가 될 수 있다는 것이다. 이 논지는 미국수학회 회보(Notices of the AMS)에 실릴 그의 별도 에세이로도 이어진다.
실무적 함의와 한계
이 글의 쓸모는 수학 바깥에서도 분명하다. 지식노동 전반에서 AI가 '그럴듯한 결과물'을 양산할 때, 조직이 무엇을 성과로 인정하고 무엇을 훈련할지에 대한 틀을 제공하기 때문이다. 핵심은 산출물 자체가 아니라 그것이 이해와 역량을 키우는가라는 기준이며, 도구를 외면하기보다 작동 원리를 파고들어 새로운 활용법을 찾는 쪽이 분야를 강하게 유지한다는 제언이다. 다만 아비가드 자신도 인정하듯 이 낙관은 한계가 뚜렷하다. 수축하는 일자리 시장 앞에 선 학생과 초기 경력 연구자에게 '더 어려운 문제를 풀고 더 큰 생각을 하라'는 조언은 큰 위안이 되지 못한다. 수학과, 학회, 학술지 이사회들이 곳곳에서 비상 회의를 여는 지금, 공동체의 규범과 가치, 기대 자체가 무너지기 시작했고 그 자리를 무엇으로 채울지는 아직 열린 질문으로 남아 있다.