복잡성 이론가 스콧 아론슨이 자신의 블로그에 올린 글 ‘The Mathocalypse(수학 종말)’는 하나의 가상 시나리오를 통해 AI 시대 수학과 이론 전산학의 미래를 들여다본다. 글의 설정은 이렇다. 어느 날 OpenAI가 팀 가워스, 에드워드 위튼 등 저명한 수학자 자문단의 권고에 따라 372개의 거대한 수학 결과를 한꺼번에 공개한다. 그 안에는 아론슨의 아내이자 복잡성 이론가인 데이나 모시코비츠가 평생 증명하려 애써 온 ‘유니크 게임 추측(UGC)’의 증명도 들어 있다. 아홉 살 아들이 엄마에게 ‘로봇이 당신 문제를 풀어버렸다’고 놀리는 장면으로 글은 시작한다.
UGC는 여러 최적화 문제가 반정부호 계획법(SDP) 완화로 얻는 근삿값보다 조금만 더 나은 근사조차 NP-난해하다는 것을 함의하는, CS 이론의 핵심 난제다. 시나리오 속 공개물에는 UGC뿐 아니라 Max Cut과 모든 제약 충족 문제(CSP)에 대해 UGC를 우회하는 직접적인 최적 NP-난해성 증명까지 포함된다. 리만 가설, 호지 추측, 버치-스위너턴-다이어 추측 같은 밀레니엄 문제에 대한 부분적 진전도 들어 있다. 반면 P≠NP, P=BPP, NEXP⊄P/poly 같은 이론 전산학의 최대 난제들은 빠져 있어, ‘가장 어려운 문제는 여전히 어렵다’는 위안을 남긴다.
증명은 있는데, 읽을 수가 없다
이 시나리오에서 가장 실무적으로 와닿는 긴장은 ‘검증’이다. 일부 결과에는 Lean 형식 증명 인증서가 붙어 있지만 전부는 아니며, 아직 어떤 인간도 이 증명들을 제대로 이해하지 못한 상태로 묘사된다. 모시코비츠가 보냈다는 문자 메시지는 그 체감을 생생하게 전한다. 환각 상태에서 쓴 것 같고, 앞뒤가 맞지 않으며, 불가능성 결과가 있는데도 왜 선행 연구를 끌어다 쓸 수 있는지 설명 없이 이름만 나열한다는 것이다. UGC 증명은 롱 코드도 쇼트 코드도 아닌, 노이즈 테스트를 동반한 완전히 새롭고 기이한 재귀적 코드 구성을 발명했다고 한다. 결국 ‘AI의 도움 없이는 논문을 읽는 것조차 불가능하다’는 역설이 생긴다. 결과물은 존재하지만 그것을 인간의 지식으로 번역하는 경주는 이제 막 시작된 셈이다.
돌파구를 세상에 전하는 두 가지 방식
글은 AI 수학 성과를 공유하는 두 모델을 대비시킨다. 하나는 ‘OpenAI 모델’로, 소화되지 않은 지저분한 증명을 그대로 공개해 인간들이 앞다퉈 해독하고 설명하게 만든다. 이 작업은 고맙다는 말도 제대로 못 듣고 경쟁적이며 재미없을 수 있다. 다른 하나는 ‘Anthropic 모델’이다. 실제 글 속에서는 하루 전 버지니아 윌리엄스와 조시 올먼이 Anthropic 모델의 핵심 아이디어를 받아 3SUM을 O(n^1.9992), 모든 쌍 최단 경로(APSP)를 O(n^2.9995)에 푸는 프리프린트를 올려 반세기 묵은 추측을 뒤집는다. Anthropic은 날것을 던지는 대신 두 연구자에게 보상을 주고 ‘소화된’ 버전을 직접 쓰고 발표할 기회를 주었다. 전자는 해독 경쟁의 혼돈을, 후자는 사기업이 누가 AI의 대변인이 될지 고르는 권력 문제를 안고 있다. 지식 생산의 공신력과 저작권, 크레딧 배분을 고민하는 이들에게 이 대비는 그대로 현실의 질문이 된다.
비용과 한계, 그리고 공동체
주목할 숫자도 있다. 이 가상의 모델은 수천 개의 에이전트를 돌리는 특수 장치가 아니라 OpenAI의 최신 내부 모델이며, 문제당 평균 약 3시간의 GPT-Pro급 연산을 썼다고 한다. 약 8,000개 문제에 시도해 그중 약 5%를 단 한 번의 3시간 시도로 풀었다. 바꿔 말하면 95%는 여전히 미해결이다. 커뮤니티가 수년을 쏟은 난제의 5%를 기계가 긁어가는 장면은 충격적이지만, 동시에 ‘인간의 몫이 사라지지 않았다’는 근거이기도 하다. 아론슨은 이 상황을 밀림에서 평생을 버텨 온 수렵인 옆에 갑자기 리조트가 들어선 비유로, 퀀타지의 조르다나 세펠레비츠는 안개 낀 산꼭대기로 순간이동된 등산가의 비유로 묘사한다. 길을 직접 오르며 얻는 적응과 도구, 동료와의 조우가 사라진 자리를 어떻게 메울 것인가가 핵심 질문이다.
이 글은 사실 보도가 아니라 가까운 미래를 상상한 사변적·풍자적 에세이로 읽어야 한다. 아론슨 자신이 이번 학기에 CS395T ‘AI 정렬 이론’이라는 새 강의를 개설했고, 아들과 터미네이터 2를 봤다는 일화를 곁들인 것도 그런 톤의 일부다. 그럼에도 한국의 IT 실무자에게 남는 함의는 분명하다. AI가 만든 결과물의 형식 검증(Lean 등)이 생산 속도를 따라잡지 못할 때 ‘검증 병목’이 새로운 표준 작업이 된다는 점, 성과를 누가 어떤 형태로 공개하느냐가 기술 문제인 동시에 권력·보상 설계의 문제라는 점, 그리고 모델이 아무리 유능해도 그것이 곧 안전을 뜻하지는 않는다는 점이다. 기계가 길을 가리켜 주더라도 안개를 걷어내고 경로를 이해하려는 공동체를 지켜내는 일이 여전히 사람의 역할로 남는다.