OpenAI가 2주 전 수학계의 오랜 난제인 나비에-스토크스(Navier-Stokes) 문제를 풀었다고 주장하면서 클레이수학연구소(Clay Mathematics Institute)가 내건 100만 달러 상금의 자격을 갖춘 듯 보였다. 사내 대형언어모델(LLM)이 생성한 이 증명은 인공지능 기업들이 수학이라는 분야까지 빠르게 잠식하고 있다는 우려에 불을 붙였다. 그런데 논란의 초점이 옮겨가고 있다. OpenAI가 실제로 푼 것이 과연 '풀어야 할 그 문제'였느냐는 것이다.
허점을 파고든 증명
나비에-스토크스 방정식은 물처럼 흐르는 유체의 움직임을 기술하도록 만들어졌다. 100만 달러짜리 문제의 핵심은 이 방정식이 언젠가 '폭발(blow up)'하는지, 즉 어떤 지점에서 흐름의 속도가 무한대가 되는 상황을 허용하는지 여부다. 현실 세계에서는 일어날 수 없는 일이므로, 방정식이 이를 허용한다면 방정식 자체를 온전히 신뢰하기 어렵다는 의미가 된다.
문제는 방정식에 선택적으로 들어가는 항이 하나 있다는 점이다. 바로 중력처럼 유체에 작용하는 외력(external force)이다. 디에고 코르도바는 우리가 아는 모든 유체가 어떤 형태로든 외력을 받고 있으므로 외력을 포함하는 것 자체는 완전히 타당하다고 말한다. 그러나 대다수 전문가가 나비에-스토크스 문제를 떠올릴 때는 이 외력을 배제한다. 정교하게 고안된 특정 외력을 가하는 대신, 유체 내부에 본래 존재하는 힘만으로 방정식이 폭발하는 더 순수하고 근본적인 방식을 찾으려 하기 때문이다. 루이스 마르티네스-소로아 역시 대부분의 연구 그룹이 외력 없는 시나리오를 다뤄왔다고 확인한다.
왜 이 결과가 '반쪽'인가
OpenAI의 증명이 파고든 지점이 바로 여기다. 최근 몇 년간 코르도바와 마르티네스-소로아는 이 틈새 영역에 집중해, 폭발을 유발하는 매우 특정한 외력을 구성하는 방법을 제시했다. 9월 7일 다른 두 수학자가 이들의 방법(과 AI)을 활용해 마찰이 없는 유체에서 폭발을 만들어냈고, 이는 나비에-스토크스 폭발로 가는 중요한 진전으로 평가됐다. OpenAI는 하루도 지나지 않아 나머지를 마무리했으며, 이 촉박한 시점을 두고 두 수학자와 회사 사이에 격한 다툼이 벌어졌다.
결정적으로 지난 목요일 세 명의 수학자가 별도의 증명을 내놓았다. 외력을 제거하면 폭발도 사라진다는 것을, 다시 말해 OpenAI의 방법이 결코 전체 문제로 확장될 수 없음을 명확히 보인 것이다. 현실에서는 나타날 수 없는 극도로 인위적인 외력 방정식 없이는 이 방법이 작동하지 않는다. 실베스트르의 표현대로, 외력을 넣은 형식화는 애초에 수학자들이 정말 풀고 싶었던 문제와 다른 문제였던 셈이다. 그는 클레이 문제는 해결됐지만 나비에-스토크스 방정식의 본질적 문제는 여전히 미해결이라고 못 박는다.
그럼에도 OpenAI의 결과가 클레이연구소의 공식 정의에 따르면 명백히 문제를 풀었다는 사실은 부정할 수 없다. 2000년 찰스 페퍼먼이 작성한 공식 문제 서술에는 OpenAI가 사용한 것과 같은 외력을 허용하는 'C' 옵션이 포함돼 있다. 이 때문에 유체역학자들은 이전에 거의 고려하지 않았던 가능성과 마주하게 됐다. 나비에-스토크스 방정식이 폭발할 수 있으되 오직 외력이 있을 때만 그러하며, 폭발이 결코 유체 자체에서 비롯되지는 않는다는 시나리오다. 곤살로 카오-라보라는 이 답에 따라 OpenAI의 기여가 전혀 다르게 평가될 것이며, 만약 사실로 드러난다면 사람들은 애초에 서술에 외력을 넣지 말았어야 했다고 말하게 될 것이라고 전한다.
실무자가 읽어야 할 함의
이번 사건은 AI가 수학에서 잘하는 일과 못하는 일의 경계를 드러낸다는 점에서 시사적이다. LLM은 방정식을 깨뜨리는 정확한 상황을 무한한 경우의 공간에서 골라내는, 즉 명시적으로 무언가를 '구성'하는 작업에 탁월하다. 반면 폭발이 불가능함을 증명하는 것처럼 새로운 이론을 세우는 작업은 아직 서툴다. 카오-라보라가 인간 진영이 오히려 덜 불리하거나 어쩌면 유리할 수 있다고 말하는 이유다. 정답을 아는 문제에서 정답을 뽑아내는 능력과, 정답의 존재 자체를 새롭게 규명하는 능력은 다르기 때문이다.
동시에 이 일화는 문제의 정의가 답만큼이나 중요하다는 오래된 교훈을 다시 확인시킨다. 20여 년 전 열어둔 선택 항 하나가 상금의 자격 요건을 충족시키면서도 정작 학계가 원하던 통찰은 비켜갔다. 벤치마크나 검증 기준을 설계하는 실무자라면, 형식적 조건을 만족하는 경로와 본래 의도한 문제를 푸는 경로가 갈라질 수 있다는 점을 새겨둘 만하다. 다만 카오-라보라의 말처럼 지난 1년간의 발전 속도를 보면 누구도 기계를 상대로 섣불리 판돈을 걸기 어려워졌다는 것도 분명하다.