AI가 수학 문제를 푸는 방식은 지금까지 대체로 정해진 각본을 따랐다. 사람이 목표를 좁게 설정하고, 탐색 알고리즘을 설계하고, 결과를 검증하는 파이프라인을 미리 짜 두는 식이다. 딥마인드의 AlphaEvolve처럼 진화 탐색으로 구성적 최적해를 찾는 접근이 대표적이다. 최근 arXiv에 공개된 'Autonomous Mathematical Discovery in an Open-World Multi-Agent Environment' 논문은 이 구도를 다르게 짠다. 연구진은 'Station(스테이션)'이라 부르는 개방형 멀티에이전트 환경을 만들고, 서로 다른 모델 계열에서 온 AI 에이전트들이 중앙 조율자나 미리 짜인 파이프라인 없이 공동의 연구 목표를 향해 움직이도록 했다.
각본 없는 연구실
Station의 핵심은 '통제되지 않은 자율성'이다. 에이전트들은 스스로 연구 방향을 정하고, 실험을 수행하고, 다른 에이전트와 협업하며, 공유되는 과학 문헌을 함께 쌓아 나간다. 사람이 다음 단계를 지시하지 않고, 특정 알고리즘을 강제하지도 않는다. 여러 모델 계열이 한 공간에 섞여 있다는 점도 중요하다. 단일 모델을 반복 호출하는 것이 아니라, 서로 다른 성향의 에이전트들이 한 문제를 두고 각자의 아이디어를 내고 검토하는 구조에 가깝다. 사람이 팀을 꾸려 놓고 자리를 비운 연구실을 떠올리면 이해하기 쉽다.
연구진은 AlphaEvolve 카탈로그에서 가져온 12개의 구성(construction) 문제와 두 개의 추가 사례 연구를 대상으로 Station을 돌렸다. 결과적으로 다섯 개 문제에서 기존 문헌 대비 새로운 성과가 나왔다고 보고한다. 유한체(finite-field) 카케야 집합의 새로운 무한족(infinite family), 11차원에서의 새로운 정확한 604점 키싱(kissing) 배치, 이산화된 카케야 바늘 문제와 부호 불확정성(sign uncertainty) 문제에서의 신기록, 그리고 에르되시의 최소 중첩(minimum-overlap) 문제에 대한 상당히 개선된 하한이다. 여기에 더해 에이전트들은 북 램지 수(Book Ramsey numbers)에 대한 새로운 무한족도 찾아냈다.
숫자가 아니라 설명을 내놓았다
이 논문에서 실무자가 주목할 대목은 성과의 '형태'다. 기존의 자동 구성 탐색은 대개 최적화된 숫자 배열, 즉 특정 조건을 만족하는 구성 하나를 결과물로 내놓는다. 그런 답은 검증은 되지만 왜 그렇게 작동하는지는 설명하지 못하는 경우가 많다. Station의 에이전트들은 수치적 구성뿐 아니라 그 구성이 어떻게 작동하는지 설명하는 정리(theorem)와 분석까지 만들어 냈다. 무한족을 찾았다는 것 자체가 이 점을 보여준다. 개별 사례가 아니라 일반 패턴을 포착했다는 뜻이기 때문이다. 결과가 해석 가능해지면 수학자가 그 위에 다음 연구를 얹기가 훨씬 쉬워진다.
투명성도 이 연구의 설계 의도 중 하나로 보인다. 연구진은 에이전트들의 원본 대화 기록, 증명, 검증 코드를 모두 공개해 발견이 어떤 경로로 등장했는지 추적할 수 있게 했다. AI가 낸 수학적 주장은 결국 사람이 검증해야 하는데, 중간 과정이 블랙박스로 남으면 신뢰하기 어렵다. 대화 로그와 검증 코드를 함께 여는 방식은 이 결과를 재현하고 감사할 수 있는 자료로 만들려는 시도다.
실무적으로 읽을 대목과 한계
엔지니어링 관점에서 흥미로운 지점은 '조율자 없는 협업'이 실제로 산출물을 냈다는 사실이다. 최근 멀티에이전트 시스템 설계는 오케스트레이터가 하위 에이전트에 작업을 배분하고 결과를 취합하는 계층 구조가 주류다. Station은 그 반대편에서, 공유 문헌이라는 느슨한 매개를 통해 에이전트들이 서로의 결과를 참조하며 스스로 방향을 잡는 구조가 특정 조건에서 작동함을 보여준다. 서로 다른 모델을 한 워크플로에 섞는 것이 다양성을 통한 탐색에 유리할 수 있다는 힌트도 준다.
다만 결과를 읽을 때 경계할 점도 분명하다. 성과가 나온 것은 14개 과제 중 다섯 개이며, 대상은 구성적 최적화라는 비교적 검증이 용이한 문제군이다. 답이 맞았는지 코드로 확인할 수 있는 영역이라는 뜻이고, 열린 추측을 증명하는 일반적 수학 연구와는 성격이 다르다. '새롭다'는 판단도 기존 문헌 대비라는 조건이 붙어 있어, 각 결과가 해당 분야에서 얼마나 의미 있는지는 전문가 검토를 거쳐야 확정된다. 그럼에도 사람이 각본을 짜지 않은 자율 에이전트 집단이 검증 가능한 새 수학 결과를 냈고, 그 과정을 통째로 공개했다는 점은 AI 기반 연구 자동화가 어디까지 왔는지 가늠하는 하나의 참고점이 된다.