수학을 위한 AI(AI for mathematics)가 급격한 전환기를 맞고 있다. 언어 모델이 인간이 풀지 못한 어려운 문제를 풀어내기 시작하면서, 수학계의 반응은 흥분과 좌절로 극명하게 갈리고 있다. 한 수학 블로그(xenaproject)에 올라온 긴 글은 이 분열을 퀴블러로스의 '애도 5단계'—부정, 분노, 타협, 우울, 수용—에 빗댄다. 글쓴이는 지금 수학계 안에 앞의 네 단계가 뚜렷하게 나타나고 있으며, 많은 동료가 오랫동안 사랑해온 무언가를 잃었다고 느끼며 사실상 애도 중이라고 진단한다. 다만 모두가 슬퍼하는 것은 아니며, 자신은 매일 아침 이 분야의 미래에 설렘을 느낀다고 밝힌다.
저항과 애도의 지형도
거부 반응은 조직화된 형태로도 나타난다. '인간 수학 협회(Association for Human Mathematics)'는 AI의 위협으로부터 수학을 인간의 활동으로 지키겠다는 목표를 내걸고, 회원들에게 AI가 생성한 결과물을 출판하지 않겠다는 약속을 받는다. 연구에 AI를 아예 쓰지 않겠다는 'AI-free' 선택지도 있다. 가입 동기는 수학에 미치는 영향부터 환경·인류에 대한 우려까지 다양하다고 한다. 필즈상 수상자 피터 숄체는 하이델베르크 수상자 포럼 패널에서 AI를 쓰지 않을 것이며 "그 언덕에서 죽겠다"고까지 말했다.
동시에 세 명의 필즈상 수상자를 포함한 중견 수학자들의 독립 자문 그룹(Advisory Group on Mathematics and Artificial Intelligence)은 권고안을 내놨다. 오픈AI가 내부 모델로 생성했다고 하는 다수의 의미 있는 수학적 결과를 공개하지 않고 쥐고 있다는 소식에 대한 대응이다. 이들은 이런 관행을 지지하지 않으며, 프런티어 AI 랩들에게 고급 수학 문제를 비공개 모델로 테스트하는 것을 멈추고 결과를 '책임감 있게' 공개하라고 요청한다. 나아가 랩들이 공개하는 AI의 수학적 산출물에 대한 '인간의 이해'를 발전시키도록 자금을 포함한 지원을 제공할 것을 제안한다. 현장의 정서도 생생하다. 유체역학을 하는 한 교수는 나비에-스토크스 관련 소식이 "극도로 우울하다"고 했고, 한 박사후연구원은 연구를 떠날 생각을 하고 있으며, 한 박사과정생은 막혔던 보조정리를 챗GPT가 단번에 풀어내는 걸 보고 이 모든 게 무슨 의미인지 회의에 빠졌다.
'이해'라는 방어선의 위험
글의 핵심 통찰은 수학계가 급히 끌어올린 방어 논리에 대한 비판이다. 몇 년 전만 해도 수학계는 가장 어려운 정리를 증명한 사람에게 최고의 상을 준다고 쉽게 동의했을 것이다. 그러나 AI가 어려운 정리를 증명하기 시작하자, 이제는 상이 '가장 깊은 이해를 주는 아이디어'에 주어진다고 설명하는 데 많은 시간을 쓰고 있다. 이 틀의 근거로 자주 인용되는 것이 서스턴의 1994년 에세이 '수학에서의 증명과 진보'이며, 테렌스 타오의 블로그도 이 글을 상단에 인용하고 있다.
문제는 현재 AI가 내놓는 가장 깊은 증명들이 조악한 PDF나 아무 설명 없이, 대신 Lean으로 끝까지 형식화된 형태로 온다는 점이다. 정확성에 대한 초인적 확신은 주지만 아이디어가 어디서 왔는지는 거의 알려주지 않는다. 숄체의 사례가 상징적이다. 엘키스-클락스브런의 유리수체 위 랭크 29 타원곡선 구성에는 기하학적 설명이 있었지만, 새로 나온 랭크 30·31 곡선에는 방정식만 딸려 왔다. "우리는 사실 아무것도 배우지 못했다." 글쓴이가 던지는 날카로운 질문은 이것이다. 만약 '이해'를 수학이라는 학문의 존속 근거로 삼는다면, 1년 뒤 AI가 정리를 증명할 뿐 아니라 인간에게 그것을 꽤 잘 설명까지 하게 될 때 우리는 어디로 후퇴할 것인가.
'이해'란 무엇인가
글쓴이는 '이해'라는 개념 자체가 모호하다고 본다. 서스턴과 달리 수학을 예술로 보고 사후에 기억되기 위해 정리를 증명한다고 솔직히 적은 하디의 입장도, 아이디어는 엄밀한 증명으로 지면에 고정되어야 유효하다고 본 재피-퀸의 입장도 모두 거론되지만, 어느 것도 자신의 생각과는 다르다고 말한다. 그는 자신의 경험을 솔직하게 털어놓는다. 1990년대 초 리처드 테일러의 박사과정생이던 시절, 지도교수는 3년이라는 지원 기간 안에 관련 문헌을 다 소화할 수 없으니 들리뉴의 구성이나 랭런즈-튠넬 정리의 증명을 직접 읽지 말라고 조언했다. 그는 끝내 그것들을 읽지 않았다. 그렇다면 자신은 자기 연구를 '이해'하는가. 올해 페르마의 마지막 정리에 대해 22시간을 강의했지만, 핵심이 되는 랭런즈-튠넬의 세부는 거의 모른다.
이런 경험이 그를 형식화(formalization)로 이끌었다. Lean은 권위에 의한 증명도, 겁박에 의한 증명도 받아들이지 않기 때문이다. 그는 Lean 앞에서 안전함을 느낀다고 말한다. 결론적으로 그는 소수파임을 인정하면서도 "나는 정리 집계(theorem tally)를 위해 이 일을 한다"고 선언한다. 이해는 모호하지만 올바르게 증명된 정리의 총수는 측정 가능하다는 것이다. 그래서 그는 오픈AI에게 자신들이 했다고 주장하는 정리 모음을 세상에 그냥 공개하라고 요구한다. 정리하고 다듬는 일은 나중에 해도 되며, 오픈AI가 자금을 대면 더 빨리 올 것이고, 나비에-스토크스를 제외한 다른 모든 사례에서 인간이 결국 뒤따라왔다고 그는 덧붙인다.
한국 실무자에게 주는 함의
이 글은 순수수학 담론처럼 보이지만, AI가 전문 지식 노동을 잠식할 때 공동체가 보이는 반응의 축소판이라는 점에서 소프트웨어·데이터 실무자에게도 시사점이 있다. 첫째, AI가 결과물을 내놓기 시작하면 '성과'의 정의가 조용히 이동한다. 수학계가 '정리 수'에서 '이해'로 옮겨간 것처럼, 개발 조직도 '동작하는 코드'에서 '설계 의도와 맥락 이해'로 가치의 중심을 재서술하게 될 가능성이 크다. 다만 그 방어선이 AI 성능 향상으로 다시 무너질 수 있다는 글쓴이의 경고는 새겨둘 만하다. 둘째, 검증 가능성의 가치다. Lean 형식화가 '초인적 확신'을 주듯, AI 산출물에 대해서는 설명이 그럴듯한지가 아니라 기계적으로 검증 가능한지가 신뢰의 기준이 된다. 테스트, 타입 시스템, 형식 검증 같은 인프라가 그래서 더 중요해진다.
한계도 분명하다. 이 글은 한 수학자의 주관적 에세이이며, 오픈AI가 쥐고 있다는 '의미 있는 결과들'의 실체는 외부에서 검증되지 않았다. 프런티어 랩이 비공개 모델로 성과를 축적하고 선택적으로 공개하는 관행은 재현성과 동료 평가라는 과학의 기본을 흔들며, 자문 그룹의 권고도 바로 이 지점을 겨눈다. AI가 증명을 넘어 설명까지 넘볼 때 인간 전문가의 역할을 어디에 둘 것인가라는 물음은, 수학자뿐 아니라 모든 지식 직군이 곧 마주할 질문이다.