수학계에는 증명도 반증도 안 된 채로 수십 년씩 버티는 유명한 난제들이 있는데요. 오늘 이야기할 야코비안 추측(Jacobian Conjecture)도 그중 하나예요. 1939년 독일 수학자 오트-하인리히 켈러가 제시한 이후 87년 동안 아무도 결판을 내지 못한 문제거든요. 그런데 Anthropic의 최신 AI 모델인 Claude Fable이 이 추측의 반례를 만들어냈다는 소식이 한 수학자의 공개 글을 통해 알려졌어요. 사실로 확정된다면 AI가 순수수학의 유명 난제를 '틀렸다'고 보여준 역사적인 사건이 되는 거라, 수학계와 AI 업계가 모두 촉각을 곤두세우고 있는 상황이에요.
야코비안 추측이 뭐냐면
수식 없이 최대한 풀어볼게요. 다항식(x제곱, 3xy 같은 항들의 합)으로 이루어진 함수가 여러 변수를 받아서 여러 값을 내놓는다고 해봐요. 이 함수를 미분해서 만든 행렬을 야코비안 행렬이라고 하는데, 그 행렬식(determinant)이 0이 아닌 상수라면 어떨까요? 직관적으로는 '이 함수는 어느 지점에서도 정보를 찌그러뜨리지 않는다'는 뜻이거든요. 야코비안 추측은 여기서 한발 더 나아가서, 그런 함수는 반드시 되돌릴 수 있고(역함수가 존재하고), 심지어 그 역함수도 다항식이라고 주장해요. 들으면 '당연한 거 아닌가?' 싶은데, 그게 함정이에요. 2차 다항식까지는 참이라고 증명됐고, 3차의 특수한 형태만 해결하면 전체가 해결된다는 것까지는 알려졌지만, 정작 그 마지막 고비를 87년째 아무도 못 넘고 있었거든요. 그 사이 저명한 수학자들의 '증명'이 여러 번 나왔다가 오류가 발견되어 철회된, 악명 높은 문제이기도 해요.
반례라는 게 왜 중요하냐면
이번 소식에서 주목할 부분은 '증명'이 아니라 '반례(counterexample)'라는 점이에요. 증명은 수백 페이지의 논리를 사람이 일일이 검토해야 하지만, 반례는 구체적인 다항식 하나를 내놓는 거라서 성격이 달라요. 야코비안 행렬식이 상수인지는 컴퓨터로 계산해서 확인할 수 있고, 역함수가 존재하지 않는다는 것도 대수적인 계산으로 검증할 수 있거든요. 개발자 식으로 비유하면, '이 코드에 버그가 없다'는 걸 증명하는 건 어렵지만 버그를 일으키는 입력값 하나를 제시하는 건 누구나 재현해볼 수 있는 것과 같아요. 퍼징(무작위 입력을 넣어 버그를 찾는 테스트 기법)이 실무에서 강력한 이유와 같은 원리죠. 물론 아직은 수학 커뮤니티의 교차 검증이 진행 중인 단계라서, 계산 과정에 미묘한 오류가 없는지 확인이 끝나야 최종 확정이라고 할 수 있어요. 이 문제의 파란만장한 역사를 생각하면 신중할 필요는 있고요.
AI와 수학, 어디까지 왔나
이 소식이 놀랍긴 하지만 갑자기 튀어나온 건 아니에요. 구글 딥마인드의 AlphaProof는 국제수학올림피아드 문제를 메달권 수준으로 풀었고, 필즈상 수상자인 테렌스 타오는 Lean이라는 형식 증명 도구와 AI를 결합하는 실험을 꾸준히 공유해왔거든요. 특히 반례 탐색은 AI에 잘 맞는 영역이에요. 방대한 후보 공간을 뒤지는 건 AI가 하고, 찾아낸 결과의 검증은 기계적인 계산으로 확인하는 구조라서, AI가 그럴듯한 헛소리를 지어내는 환각(hallucination) 문제를 검증 단계에서 걸러낼 수 있으니까요. '생성은 어렵지만 검증은 쉬운' 문제야말로 지금 AI가 가장 힘을 발휘하는 지점이라는 게 이번 사건으로 다시 확인된 셈이에요.
한국 개발자에게 주는 시사점
수학 연구랑 내 일이 무슨 상관이냐 싶을 수 있는데, 구조는 똑같이 적용돼요. AI에게 결과물을 통째로 맡기기보다, AI가 후보를 만들고 우리가 만든 테스트와 검증 체계가 그걸 걸러내는 파이프라인을 설계하는 것. 테스트 코드가 탄탄한 프로젝트일수록 AI 코딩 도구의 효용이 커지는 것과 같은 이치거든요. AI를 '정답 기계'가 아니라 '검증 가능한 가설 생성기'로 쓰는 관점은 앞으로 점점 더 중요해질 거예요.
정리하면, AI가 87년 된 수학 난제의 반례 후보를 내놓았고 지금 검증이 진행 중이라는 소식이에요. 여러분은 AI가 다음으로 무너뜨릴 난제가 뭐라고 생각하세요? 그리고 여러분의 업무에서 '검증은 쉽고 생성은 어려운' 문제, 뭐가 떠오르시나요?
🔗 출처: Hacker News