수학계의 '도장 깨기' 목록, 에르되시 문제
혹시 '에르되시(Erdős)'라는 이름 들어보셨나요? 20세기 최고의 수학자 중 한 명인 폴 에르되시는 평생 1,500편이 넘는 논문을 쓰면서, 동시에 수백 개의 미해결 문제를 세상에 남겼거든요. 이 문제들은 지금 erdosproblems.com이라는 사이트에 데이터베이스로 정리되어 있는데, 수십 년째 아무도 못 푼 문제가 수두룩해요. 수학자들에게는 일종의 '도장 깨기' 목록 같은 존재인 거죠.
그런데 최근 이 문제들에 도전하는 방식이 아주 특이한 실험이 하나 등장했어요. 사람이 직접 푸는 게 아니라, OpenAI의 코딩 에이전트인 Codex 계정을 20개 준비해서 에르되시 문제 20개에 붙여놓고 병렬로 돌린 거예요. 프로젝트 이름도 '스타플릿 매스(Starfleet Math)'예요. 함대를 띄우듯 AI 에이전트를 여러 대 동시에 출격시켜서 난제를 공략한다는 발상인 거죠.
'병렬로 돌린다'는 게 왜 중요하냐면
이게 뭐냐면, AI로 어려운 문제를 풀 때 성능을 올리는 방법이 크게 두 가지거든요. 하나는 더 똑똑한 모델을 쓰는 것(수직 확장)이고, 다른 하나는 같은 모델을 여러 개 돌려서 시도 횟수 자체를 늘리는 것(수평 확장)이에요. 수학 난제처럼 '한 번에 정답이 나올 확률은 낮지만, 나온 답이 맞는지 검증하는 건 상대적으로 쉬운' 문제에는 후자가 특히 잘 먹혀요. 복권을 한 장 사는 것보다 스무 장 사는 게 당첨 확률이 높은 것과 비슷한 원리인데요, 각 에이전트가 서로 다른 접근법으로 문제를 파고들다 보면 그중 하나가 돌파구를 찾을 수 있다는 거죠.
여기서 정말 중요한 게 '검증'이에요. AI가 그럴듯한 증명을 써냈다고 해서 그게 진짜 증명이라는 보장은 없거든요. 그래서 이런 시도들은 보통 Lean 같은 형식 검증 도구와 함께 이야기돼요. Lean이 뭐냐면, 수학 증명을 컴퓨터가 한 줄 한 줄 기계적으로 검사할 수 있는 코드 형태로 쓰는 언어예요. 사람이 '음, 맞는 것 같은데?' 하고 넘어가는 게 아니라, 컴파일러가 타입 에러를 잡아내듯 증명의 빈틈을 잡아내는 거죠.
'AI가 난제를 풀었다'는 말의 함정
사실 이 주제에는 유명한 흑역사가 하나 있어요. 2025년에 GPT-5가 에르되시 문제 여러 개를 '풀었다'는 소식이 퍼졌는데, 알고 보니 새로운 증명을 만든 게 아니라 이미 수십 년 전 논문에 있던 해법을 문헌에서 찾아낸 것이었거든요. 데이터베이스에 '미해결'로 남아 있던 문제들이 사실은 풀려 있었던 거예요. 물론 방대한 문헌 속에 묻혀 있던 해법을 발굴하는 것도 나름 가치 있는 일이지만, 'AI가 새로운 수학을 해냈다'는 것과는 전혀 다른 이야기죠.
그래서 이런 실험 결과를 볼 때는 세 가지를 구분해서 봐야 해요. 첫째, 정말 새로운 증명을 만들어낸 경우. 둘째, 기존 문헌의 해법을 찾아낸 경우. 셋째, 그럴듯해 보이지만 전문가 검증을 통과하지 못하는 경우. 이 구분 없이 '20문제 해결!'이라는 문구만 보면 실제보다 훨씬 부풀려진 인상을 받기 쉬워요.
업계 흐름에서 보면
AI로 수학을 공략하는 시도는 이제 하나의 큰 흐름이에요. 구글 딥마인드의 AlphaProof는 국제수학올림피아드 문제를 은메달 수준으로 풀어냈고, AlphaEvolve는 행렬 곱셈 알고리즘 개선 같은 실용적인 발견까지 해냈죠. 필즈상 수상자인 테렌스 타오 같은 최정상 수학자도 AI를 문헌 탐색과 증명 보조 도구로 적극 활용하고 있고요. 이번 실험이 흥미로운 지점은, 거대 연구소가 아니라 개인이 상용 구독 계정 여러 개만으로 비슷한 시도를 해볼 수 있다는 걸 보여줬다는 점이에요. 최전선 연구의 진입 장벽이 '연구소 규모의 인프라'에서 '구독료와 아이디어'로 내려오고 있는 거죠.
개발자에게 주는 시사점
'에이전트를 병렬로 띄워서 어려운 문제를 공략한다'는 패턴은 수학에만 쓸 수 있는 게 아니거든요. 까다로운 버그 수정, 성능 최적화, 리팩터링처럼 '시도는 여러 번 할 수 있고, 결과 검증은 테스트로 자동화할 수 있는' 작업이라면 코딩에서도 똑같이 적용할 수 있어요. 실제로 에이전트 여러 개에게 같은 이슈를 서로 다른 방식으로 풀게 한 뒤 가장 좋은 결과를 고르는 워크플로우는 이미 실무에서 쓰이기 시작했고요. 관건은 비용과 검증 체계인데, 검증만 잘 갖춰져 있다면 '많이 던져보는' 전략이 생각보다 강력하다는 게 이 실험의 진짜 교훈이 아닐까 싶어요.
한 줄로 정리하면, AI 수학의 최전선은 이제 '얼마나 똑똑한가'만큼 '몇 대를 어떻게 굴리는가'의 싸움이 되고 있다는 것. 여러분이라면 에이전트 20개를 병렬로 쓸 수 있을 때 어떤 문제에 던져보고 싶으신가요?
🔗 출처: Hacker News