OpenAI 모델이 60년 묵은 기하학 난제를 무너뜨렸다 — '추론하는 AI'가 수학에 가져온 충격

AI가 수학자의 추측을 반증한 사건

수학에서 "추측(conjecture)"이라는 말은 흔히 나오는데요, 이게 뭐냐면 '아직 증명은 안 됐지만 아마도 참일 거야'라고 학계가 오랫동안 믿어온 명제예요. 수십 년, 길게는 수백 년씩 풀리지 않은 채로 남아 있는 경우가 많아요. 그런데 최근 OpenAI가 자사의 추론 모델을 활용해서 이산기하학(discrete geometry) 분야의 한 핵심 추측을 반증했다고 발표했어요. 단순히 '풀었다'가 아니라, 사람들이 '아마 맞을 거야'라고 생각해 온 명제가 사실은 틀렸다는 반례를 AI가 찾아냈다는 거예요.

이 소식이 왜 중요하냐면요, 그동안 LLM이 수학 문제를 풀었다고 할 때 대부분은 "교과서 수준의 문제를 잘 푼다" 정도였거든요. 올림피아드 문제를 풀거나, 잘 알려진 정리를 다시 증명하는 식이었죠. 그런데 이번에는 인간 수학자들도 풀지 못한 미해결 문제에서 AI가 새로운 결과를 만들어냈어요. 연구의 도구가 아니라 연구의 '동료'가 되는 시점이 정말로 오고 있다는 신호예요.

어떤 문제였고, 어떻게 풀었나

이산기하학은 점, 선, 다면체처럼 '셀 수 있는 도형'을 다루는 분야예요. 연속적인 곡선이 아니라, 격자나 배치, 조합 같은 걸 연구하는 거죠. 컴퓨터 그래픽스, 알고리즘 설계, 코딩 이론에도 깊게 연결돼 있어서 이론수학이라기보다 응용수학에 가까운 영역이에요.

이번에 반증된 추측은 어떤 도형의 배치나 덮개(covering)에 관한 명제로, 학계에서 오랫동안 '직관적으로 참일 것 같다'고 받아들여져 왔어요. 그런데 OpenAI 모델은 반례가 되는 구체적인 구성(construction)을 제시했어요. 추측이 틀렸다는 걸 보이려면 '이런 경우엔 안 맞는다'는 단 하나의 예시만 찾으면 되거든요. 다만 그 하나를 찾는 게 어마어마하게 어려운데, 탐색 공간이 너무 넓어서 사람이 손으로 뒤지기엔 불가능에 가까워요.

흥미로운 점은 모델이 단순히 무작위로 케이스를 뽑아본 게 아니라, 추론 체인(chain-of-thought)을 길게 이어가면서 후보 구조를 다듬어 나갔다는 거예요. 가설을 세우고, 그 가설이 위반될 만한 케이스를 만들어보고, 안 맞으면 다시 수정하고. 사람 수학자가 노트에 끄적이면서 하는 작업이랑 비슷한 흐름이에요. 그리고 마지막에 나온 반례는 사람 손으로 검증 가능한 형태로 정리돼 있어서, 다른 수학자들이 "오, 진짜 안 맞네" 하고 확인할 수 있었다고 해요.

비슷한 시도들과 비교해보면

수학에 AI를 적용하는 흐름은 이번이 처음은 아니에요. 구글 딥마인드의 AlphaProof, AlphaGeometry는 국제수학올림피아드 문제를 거의 금메달급으로 풀어내서 작년에 화제였고요, Lean이나 Coq 같은 정리 증명기(proof assistant)에 AI를 붙여서 형식 검증을 자동화하는 연구도 활발해요. Terence Tao 같은 필즈상 수상자가 GPT를 일상 연구 도구로 쓴다는 얘기도 종종 들리고요.

그런데 이전 연구들이 주로 '이미 답이 있는 문제'나 '검증 가능한 좁은 영역'에 집중했다면, 이번 OpenAI의 결과는 열린 추측을 새로운 결과로 닫아버렸다는 점에서 결이 달라요. 즉, 수학적 발견의 최전선에서 의미 있는 한 걸음을 내디딘 거예요. AlphaGeometry가 '잘 가르친 학생'이라면, 이번 모델은 '논문을 쓰는 박사과정생'에 가까운 셈이에요.

물론 한계도 분명해요. 반증은 증명보다 상대적으로 쉬워요. 반례 하나만 찾으면 끝이거든요. 반면 "이 명제가 항상 참이다"를 증명하려면 모든 경우를 다 커버해야 해서 훨씬 어렵죠. 그래서 이번 결과를 두고 "AI가 인간 수학자를 대체한다"고 보긴 어렵고, '특정 유형의 탐색 작업에서 AI가 진짜 도움이 된다'는 정도로 보는 게 정확해요.

한국 개발자에겐 어떤 의미?

당장 우리가 이산기하학 논문을 쓸 일은 없겠죠. 하지만 이 사건에서 챙겨갈 인사이트는 꽤 많아요. 첫째, 추론 모델은 단순 챗봇과 결이 다른 도구라는 점이에요. 알고리즘 문제를 풀거나, 복잡한 상태 공간을 탐색하거나, 엣지 케이스를 찾아내는 작업 — 이런 데서 추론 모델이 진짜 힘을 발휘해요. 코드 리뷰에서 "이 함수가 깨질 만한 입력을 찾아줘" 같은 요청을 던지면, 예전 GPT보다 훨씬 창의적인 반례를 던져주는 걸 경험해 보셨을 거예요.

둘째, 검증 가능한 출력 설계가 점점 중요해진다는 거예요. 이번 결과가 의미를 가진 건 사람이 결과를 검증할 수 있었기 때문이에요. AI를 업무에 도입할 때 "그럴듯한 답"이 아니라 "검증 가능한 답"을 뽑게 하는 프롬프트 설계, 그리고 그 답을 자동으로 체크하는 파이프라인을 짜는 게 핵심 역량이 되고 있어요. 테스트 코드, 타입 시스템, 형식 명세 같은 게 다시 빛을 보고 있죠.

셋째, 수학·과학 연구 인접 분야의 일하는 방식이 빠르게 바뀔 거예요. 머신러닝 리서치, 암호학, 최적화, 분산 알고리즘 설계 같은 영역에서 AI가 보조 연구자 역할을 본격적으로 맡기 시작하면 연구 속도 자체가 달라져요. 관심 있는 분야가 있다면 지금이 도구 사용법을 익혀둘 좋은 타이밍이에요.