테런스 타오의 블로그에 올라온 알바로 로사노-로블레도의 객원 기고문은 요즘 수학 전공 학생들 사이에 퍼진 불안을 정면으로 다룬다. 글의 출발점은 한 순수수학 학부생이 보낸 메시지였다. 몇 달 전까지 수학 학계에서 경력을 쌓는 꿈을 꾸던 이 학생은 이제 진로는 물론 삶의 의미까지 잃은 느낌이라고 토로하며, 두 가지를 묻는다. 뛰어난 소수가 아니어도 열정만으로 수학 학계에 자리 잡을 수 있을 만큼 이 분야가 넓고 열려 있을 것인가, 그리고 앞으로 5~10년 안에 AI가 순수수학 연구에서 인간을 넘어설 것인가. 저자는 이런 메시지를 여럿 받고 있으며, 학생들이 '지금 당장' 진로를 결정하고 있다는 점에 주목한다. 법학전문대학원처럼 수학과 거리가 먼 길로 방향을 트는 사례까지 나온다는 것이다.
저자가 가장 우려하는 것은 개별 학생의 선택을 넘어 '한 세대의 수학자를 통째로 잃을 수 있다'는 가능성이다. 다만 그는 두 가지 단서를 먼저 단다. 하나는 자신의 답이 '우유처럼 상할' 수 있다는 것, 즉 정년을 보장받은 교수의 시각은 초년 연구자가 느끼는 고용 불안과는 다를 수밖에 없다는 솔직한 인정이다. 다른 하나는 더 중요하다. 지금 이 질문들에 확실한 답을 아는 사람은 아무도 없다는 것이다. 필즈상 수상자도, AI 전문가를 자처하는 이들도, 프런티어 모델 기업들도 마찬가지다. 그는 오히려 지나치게 확신에 찬 예측을 경계하라고 권하며, X에서 수학 직업의 종말을 단언하는 사람들 상당수가 스스로를 'AI 전문가'라 부르거나 AI 스타트업에 몸담고 있다는 점을 지적한다.
누가 서사를 통제하는가
글의 핵심 주장 하나는 LLM을 둘러싼 담론이 기업의 이해관계에 따라 형성되고 있다는 것이다. 저자는 프런티어 모델 기업들이 자사 제품이 곧 '초인간 지능'에 도달해 어떤 수학 문제든 자율적으로 풀 수 있다고 대중이 믿기를 바란다고 본다. 특히 상장을 앞둔 시점에서 그런 믿음은 기업에 유리하다. 그는 앤트로픽의 2026년 11월, 오픈AI의 2027년 초 IPO 일정을 거론하며, 유명 난제의 해법을 막대한 자원을 들여 찾아내 발표하는 방식이 '우리 모델은 이미 어떤 문제든 빠르게 풀 수 있다'는 인상을 준다고 설명한다. 그러나 발표되지 않는 것은 실패한 시도들이다. 오픈AI가 나비에-스토크스 문제에 약 1,500만 달러에 상당하는 자원을 투입했다는 점은 알려져 있지만, 다른 밀레니엄 난제들에서 실패로 폐기된 막대한 연산 비용은 공개되지 않는다는 것이다.
이런 경계에도 저자의 전반적 태도는 비관이 아니라 낙관이다. 그는 지금이 2000년 이후 자신의 경력에서 가장 흥분되는 시기라고 말한다. LLM은 이미 강력한 도구이며, 사용 규범과 학문적 윤리 기준을 제대로 세운다면 이전 어느 시대와도 다른 속도로 수학의 진보를 가속할 수 있다는 것이다. 흥미로운 것은 그의 일상이다. 수학자의 하루하루는 크게 달라지지 않았다. 여전히 강의하고 동료·학생과 수학을 논하며 학회에 다닌다. 다만 한 가지가 변했다. 참여하는 연구 프로젝트가 몇 달 만에 세 배로 늘어 그 어느 때보다 바쁘다는 점이다. 연구 지평이 넓어지면서 학생들에게 맡길 수 있는 과제도 많아졌다.
볼록껍질 모형과 그 함의
AI가 인간의 연구 능력을 넘어설지에 대해 저자는 '불분명하다'고 답한다. 지금까지 LLM이 기여한 증명들은 인상적이지만, 알파고의 '수 37'처럼 기존 문헌에 전혀 없던 '외계의 아이디어'를 담은 사례는 보이지 않는다는 것이 그의 관찰이다. LLM이 인류의 모든 기존 성과로 학습된 이상, 현재 지식의 경계 안에서 사고하는 것은 자연스러운 결과다. 그는 네스토르 기옌이 제시한 모형, 즉 LLM이 현재 문헌에 존재하는 아이디어들의 '볼록껍질(convex hull)' 안에서 작동한다는 가설을 인용한다. 수학적 아이디어 전체를 고차원의 뾰족한 다면체로 보면, LLM은 바깥 꼭짓점들 사이의 빈틈을 메우는 방식으로 성과를 낸다는 것이다.
대표 사례로 그는 에르되시 단위거리 추측의 반증을 든다. 이산기하학과 대수적 정수론이라는 서로 다른 꼭짓점의 전략을 영리하게 결합해 처음에는 독창적으로 보이지만, 자세히 뜯어보면 이미 인간의 손이 닿는 볼록껍질 내부에 있던 증명이라는 분석이다. 멜라니 매칫-우드 역시 이 증명이 공개됐을 때, 한 달 전에 같은 수준의 인간 전문가들을 모아 비슷한 시간을 들였다면 반례를 찾아냈을 것이라고 평했다. 반면 리만 가설 같은 문제는 현재 볼록껍질 바깥의 완전히 새로운 아이디어를 요구할 수 있고, 그렇다면 LLM의 범위 밖이다. 새 아이디어가 논문으로 제시되어 다면체에 꼭짓점이 하나 더 생긴 뒤에야 LLM은 재학습을 거쳐 넓어진 껍질을 다시 채워 나갈 수 있다.
이 모형이 들어맞는다면 지금의 빠른 진전에도 설명이 붙는다. LLM은 뾰족한 다면체 구조를 활용해 바깥 돌기들 사이의 간격을 빠르게 메우고 있지만, 껍질이 채워질수록 순수하게 기계만으로 나오는 결과의 증가 속도는 둔화될 것이라는 전망이다. 실무적으로 이 글이 한국의 연구자와 대학원 진학을 고민하는 이들에게 주는 함의는 분명하다. 당장의 성과 발표와 기업의 서사에 휩쓸려 진로를 포기하기보다, LLM을 도구로 능숙하게 다루는 역량을 갖추되 새로운 개념을 만들어내는 인간 고유의 작업 — 즉 볼록껍질 바깥을 여는 일 — 에 집중하는 편이 장기적으로 유효하다는 것이다. 물론 저자 스스로 강조하듯 어느 예측도 확정은 아니며, 여러 사람에게 같은 질문을 던져 균형 잡힌 시각을 모으는 태도가 지금으로서는 가장 현실적인 처방이다.