AI가 수학 문제를 푼다는 얘기, 요즘 자주 들리시죠. 그런데 이번 소식은 조금 결이 다른데요. OpenAI가 자사 모델의 수학 증명 성과를 발표한 직후, 한 수학 연구자가 GPT-5.6에 프롬프트 하나를 넣어서 볼록 최적화(convex optimization) 분야에서 30년 가까이 열려 있던 이론적 간극을 메우는 증명을 받아냈다는 이야기가 수학 커뮤니티에서 공유됐거든요. 벤치마크 점수 자랑이 아니라, 실제 연구자가 실제 미해결 문제를 들고 가서 결과를 얻었다는 점에서 눈여겨볼 만한 사례예요.
볼록 최적화, 그리고 '간극'이 뭐냐면
볼록 최적화가 뭐냐면, 그래프가 밥그릇처럼 생긴 함수의 최솟값을 찾는 문제를 다루는 분야예요. 밥그릇 모양이면 어디서 출발하든 아래로만 굴러가면 바닥에 도착하잖아요? 그래서 '지역 최솟값에 갇히는' 걱정 없이 효율적인 알고리즘을 만들 수 있고, 머신러닝의 경사하강법부터 금융 포트폴리오 설계까지 온갖 곳의 수학적 기반이 되는 분야거든요.
그럼 '30년 간극'은 뭘까요? 이론 연구에서는 어떤 알고리즘의 성능에 대해 두 가지를 증명해요. 하나는 상한, 즉 '이 알고리즘은 최소한 이 속도는 보장한다'는 것이고, 다른 하나는 하한, 즉 '어떤 알고리즘도 이 속도보다 빠를 수는 없다'는 거예요. 이 둘이 딱 맞으면 문제가 완전히 이해된 거지만, 둘 사이에 틈이 있으면 '진짜 한계가 어디인지 모르는' 상태가 돼요. 이런 틈이 수십 년씩 방치되는 경우가 수학에는 꽤 흔한데, 이번에 그런 틈 하나가 AI의 도움으로 닫혔다는 거죠.
어떻게 가능했을까
흥미로운 건 과정이에요. 연구자는 문제의 정의와 기존에 알려진 결과들을 정리해서 프롬프트로 넣었고, 모델이 내놓은 증명 아이디어를 사람이 한 줄씩 검증하는 방식으로 진행됐다고 해요. 여기서 핵심은 수학이라는 분야의 특성인데요. 수학 증명은 맞았는지 틀렸는지를 사람이(또는 Lean 같은 형식 검증 도구가) 확실하게 채점할 수 있어요. AI가 그럴듯한 헛소리, 즉 환각을 만들어내도 검증 단계에서 걸러지니까, 'AI가 100번 시도해서 1번만 맞아도 이득'인 구조가 성립하거든요.
사실 이런 흐름의 조짐은 계속 있었어요. 앞서 GPT-5 계열 모델이 볼록 최적화 논문에 나온 경사하강법 스텝 사이즈의 한계 상수를 개선해서 연구자들 사이에서 회자됐고, 에르되시(Erdős) 미해결 문제 목록을 AI로 훑는 프로젝트, DeepMind의 AlphaProof가 국제수학올림피아드 수준 문제를 형식 증명으로 푼 사례도 있었죠. 테렌스 타오 같은 최정상 수학자도 AI를 연구 조수로 쓰는 실험을 공개적으로 해왔고요.
그래도 걸러 들어야 할 부분
다만 이런 소식에는 항상 확인할 게 있어요. 첫째, AI가 내놓은 '새로운 증명'이 사실 이미 어딘가 논문에 있던 결과의 재발견인 경우가 있어요. 실제로 에르되시 문제 관련해서 AI가 풀었다던 문제들이 알고 보니 기존 문헌에 답이 있었던 해프닝도 있었거든요. 둘째, 검증은 여전히 온전히 사람 몫이에요. 프롬프트 하나로 뚝딱 나온 것처럼 보여도, 뒤에는 문제를 정확히 정식화하고 결과를 한 줄씩 검증한 전문가의 노동이 있어요. 'AI가 혼자 수학을 한다'기보다는 '전문가의 손에서 AI가 강력한 탐색 도구가 된다'에 가까운 거죠.
우리에게 주는 시사점
개발자 입장에서 챙길 교훈은 명확해요. 검증이 확실한 영역에서 AI의 가치가 폭발한다는 거예요. 수학 증명이 그렇고, 테스트 코드가 탄탄한 소프트웨어가 그렇죠. 반대로 결과를 채점할 수 없는 영역에서는 환각 리스크를 그대로 떠안게 되고요. 알고리즘 문제를 풀거나 성능 한계를 분석할 일이 있다면, '답을 달라'고 하기보다 '이런 접근이 가능한지 스케치해달라'고 한 뒤 직접 검증하는 워크플로를 시도해볼 만해요.
정리하면, AI가 수학 연구의 진짜 미해결 지점을 건드리기 시작했고, 그 열쇠는 '검증 가능성'이었다는 이야기예요. 여러분은 어떻게 보시나요? 몇 년 안에 주요 정리의 증명에 AI가 공저자급 기여를 하는 게 일상이 될까요, 아니면 여전히 잘 정의된 좁은 문제에서만 통할까요?
🔗 출처: Hacker News