테런스 타오(Terence Tao)라는 이름, 한 번쯤 들어보셨을 텐데요. 수학계의 노벨상이라 불리는 필즈상을 받은, 현존하는 최고의 수학자 중 한 명으로 꼽히는 분이에요. 이분이 최근 ChatGPT와 나눈 대화를 링크 하나로 통째로 공개했어요. 주제는 무려 80년 넘게 풀리지 않은 난제인 '야코비안 추측(Jacobian Conjecture)'의 반례에 관한 논의였고요. 세계 정상급 수학자가 AI를 실제 연구 과정에서 어떻게 다루는지를 편집 없이 날것 그대로 볼 수 있는 흔치 않은 자료라서, 오늘은 이 이야기를 풀어보려고 해요.
야코비안 추측이 뭐냐면요
1939년 독일 수학자 켈러가 제기한 이후 지금까지 풀리지 않은 대수학의 유명한 문제인데요. 아주 거칠게 설명하면 이런 얘기예요. x, y 같은 변수들을 다항식(x² + 3xy 같은 식)으로 바꿔주는 변환이 있다고 해볼게요. 이 변환에서 '야코비안 행렬식'이라는 값을 계산할 수 있는데, 이게 뭐냐면 그 변환이 공간을 각 지점에서 얼마나 늘리거나 줄이는지를 나타내는 숫자라고 생각하시면 돼요. 추측의 내용은, 이 값이 0이 아닌 상수라면 그 변환은 반드시 거꾸로 되돌릴 수 있고(역함수가 존재하고), 심지어 그 역함수도 다항식이어야 한다는 거예요. 문장으로 쓰면 꽤 단순해 보이는데, 변수가 딱 2개인 경우조차 아직 아무도 증명하지 못했거든요.
이 문제가 특히 악명 높은 이유가 따로 있어요. 역사적으로 '틀린 증명'과 '틀린 반례'가 유독 많이 나온 문제거든요. 반례가 뭐냐면, 추측이 틀렸음을 보여주는 단 하나의 구체적인 예시를 말해요. 수십 년 동안 증명에 성공했다는 논문도, 반례를 찾았다는 주장도 여러 번 등장했지만 번번이 어딘가에서 오류가 발견됐어요. 그래서 이 분야에서는 새로운 주장이 나오면 일단 의심하고 아주 꼼꼼하게 검증하는 게 기본자세가 됐고요. 타오가 ChatGPT와 함께 들여다본 것도 바로 이런 맥락 위에 있는 작업이에요.
대화에서 눈여겨볼 지점
공개된 대화에서 인상적인 건 타오가 AI를 다루는 방식이에요. '답을 내놓는 기계'가 아니라 '같이 계산하고 논증을 두드려보는 동료'처럼 대하거든요. 반례를 둘러싼 논증을 놓고 구체적인 계산을 시켜보고, 중간 단계가 정말 맞는지 되짚게 하고, 혹시 논리에 빈틈이 없는지 반대 방향에서도 찔러봐요. 질문이 항상 검증 가능한 형태로 잘게 쪼개져 있다는 점도 눈에 띄고요. 두루뭉술하게 '이 추측 어떻게 생각해?'라고 묻는 게 아니라, 틀렸다면 어디서 틀렸는지 바로 확인할 수 있는 단위로 나눠서 던져요. 사실 이건 우리가 LLM에게 코드를 짜게 하거나 리뷰를 시킬 때도 그대로 통하는 원칙이거든요.
타오는 예전부터 AI 활용에 꾸준히 목소리를 내온 수학자이기도 해요. 2024년에 OpenAI의 추론 모델을 써보고는 '뛰어나진 않지만 무능하지도 않은 대학원생 수준'이라는 평가를 남긴 적도 있고, 증명을 컴퓨터가 기계적으로 검증할 수 있게 만드는 Lean이라는 도구(증명 보조기라고 불러요)를 이용한 대규모 협업 프로젝트도 이끌어왔거든요. 딥마인드의 AlphaProof가 국제수학올림피아드 문제로 은메달 수준 성적을 낸 이후, 최전선 수학자들이 AI를 연구 파이프라인에 넣는 흐름은 계속 빨라지고 있어요. 이번 대화 공개는 그 흐름이 '난제급 문제'에까지 닿았다는 걸 보여주는 장면이고요.
우리에게 주는 시사점
수학은 한 줄만 틀려도 전체가 무너지는 분야라서, AI의 그럴듯한 헛소리(할루시네이션)가 가장 위험한 영역이기도 해요. 그런데 타오의 사용법을 보면 오히려 그래서 배울 게 많아요. AI에게 결론을 맡기는 게 아니라, 사람이 검증의 최종 책임을 쥔 채로 계산 노동과 아이디어 탐색을 시키는 구조거든요. 개발자로 치면, LLM에게 '이 코드 완성해줘'만 시킬 게 아니라 '이 설계의 허점을 찾아봐', '이 엣지 케이스에서 정말 동작하는지 단계별로 따져봐'처럼 공격수 역할을 시키는 거예요. 생성보다 검증에 AI를 쓰는 습관, 지금 바로 실무에 가져갈 수 있는 부분이라고 봐요.
정리하면, 이번 일의 핵심은 '필즈상 수상자도 ChatGPT를 쓴다'가 아니라 '어떻게 쓰는지'예요. 여러분은 LLM을 주로 생성 도구로 쓰시나요, 아니면 검증 파트너로 쓰시나요? 자기 결과물을 AI에게 공격시켜본 경험이 있다면 댓글로 나눠주세요.
🔗 출처: Hacker News