수학과 이론 컴퓨터과학의 경계에는 수십 년째 정확한 값이 알려지지 않은 상수들이 있다. 그로텐디크 상수(Grothendieck constant) $K_G$도 그중 하나다. 이 상수는 1953년 알렉산더 그로텐디크가 함수해석학 연구에서 처음 도입한 이래, 조합 최적화와 근사 알고리즘 분야에서 반복적으로 등장해 왔다. 최근 arXiv에 공개된 한 논문은 이 상수의 상한과 하한을 새로 좁혀 소수 첫째 자리가 7이라는 사실을 처음으로 확정했다. 더 눈길을 끄는 대목은 이 결과가 인간 연구자와 장기 과제를 수행하도록 설계된 AI 연구 시스템의 협업으로 도출됐다는 점이다.
상수의 정체와 왜 어려운가
$K_G$가 실무자에게 낯설게 느껴질 수 있지만, 그 배경에는 익숙한 문제가 있다. 이 상수는 특정 이차 최적화 문제를, 벡터를 이용한 완화(relaxation) 방식으로 근사할 때 발생하는 최악의 오차 비율을 규정한다. 이는 반정치 계획법(SDP)에 기반한 근사 알고리즘의 성능 한계와 직결된다. 예컨대 그래프 분할이나 상관관계 클러스터링처럼 SDP 완화 후 랜덤 라운딩으로 정수해를 복원하는 알고리즘에서, $K_G$는 이 접근이 원리적으로 넘볼 수 없는 성능 벽을 나타낸다. 문제는 이 상수의 정확한 값이 아직 아무도 모른다는 것이다. 오랫동안 알려진 상한은 크리빈(Krivine)이 제시한 $π/(2\log(1+\sqrt2))$, 약 1.7822였다.
새 경계가 말하는 것
이번 논문이 제시한 경계는 $6π/11 \le K_G \le π/(2\log(1+\sqrt2)) - 10^{-4}$이다. 하한은 약 1.714, 상한은 기존 크리빈 값에서 아주 작은 양만큼 내려온 값이다. 두 경계 모두 소수 둘째 자리 아래에서 7과 8 사이를 가르는데, 결과적으로 $K_G$의 소수 첫째 자리가 7임이 확정된다. 수치상 진전 폭은 크지 않아 보이지만, 오랫동안 미해결이던 자릿수를 처음으로 못 박았다는 점에서 상징적 의미가 있다.
방법론적 기여가 오히려 더 주목할 만하다. 하한 증명에서 저자들은 반례가 되는 구체적 인스턴스를 직접 구성하던 기존 방식 대신, 점근적으로 최적인 크리빈 방식 자체가 가진 한계를 규명하는 우회 전략을 택했다. 상한 쪽에서는 이전 연구들이 저차원 라운딩 방식만 다뤘던 것과 달리, 라운딩 방식의 첫 점근적(asymptotic) 구성을 제안하고 분석했다. 즉 특정 차원에 머무르지 않고 차원이 커지는 극한에서 작동하는 새로운 도구를 도입한 셈이다.
인간과 AI 협업이라는 방식
논문이 스스로 밝힌 대로, 이 경계들은 인간 연구팀과 저자들이 직접 설계한 장기 지평(long-horizon) AI 연구 시스템의 오랜 공동 작업으로 발견됐다. 이는 AI가 단발성 계산이나 문헌 요약을 넘어, 여러 단계에 걸친 수학적 탐색 과정에 참여했음을 시사한다. 다만 원문은 시스템의 구체적 구조나 인간과 AI 각각의 기여 비중을 상세히 밝히지 않으므로, 어느 부분이 자동화됐고 어느 판단이 사람 몫이었는지는 이 초록만으로 단정하기 어렵다.
실무 관점에서 이 결과가 당장 알고리즘 성능을 바꾸지는 않는다. $K_G$는 여전히 정확한 값이 아니라 좁혀진 구간으로 남아 있고, SDP 기반 근사 알고리즘을 설계하는 엔지니어가 코드에서 이 상수를 직접 참조하는 일도 드물다. 그럼에도 이 상수의 값이 근사 가능성의 이론적 하한선을 규정한다는 점에서, 최적화 알고리즘이 원리적으로 어디까지 갈 수 있는지를 이해하려는 사람에게는 참고할 가치가 있다.
무엇보다 이 연구는 오랫동안 순수 인간 지성의 영역으로 여겨진 정리 증명과 상수 규명 작업에 AI가 실질적 협력자로 들어설 수 있음을 보여주는 사례로 읽힌다. 검증 가능한 수학이라는 엄격한 무대에서 나온 결과인 만큼, 소프트웨어 개발자와 연구자 모두 AI를 활용한 문제 해결의 범위가 어디까지 넓어질지 지켜볼 이유가 생겼다.