호지 추측(Hodge conjecture)은 클레이수학연구소가 지정한 밀레니엄 7대 난제 중 하나다. 최근 한 수학 블로그가 "OpenAI가 이 추측의 반례를 구성했을 가능성이 있다"는 이야기를 전하면서 이 오래된 문제가 다시 입길에 올랐다. 아직 검증된 사실이 아니라 소문에 가깝지만, 이 소문은 흥미로운 역사를 되살린다. 20세기 정수론과 대수기하학을 이끈 앙드레 베유(André Weil)는 호지 추측을 가장 먼저 의심하고 반례를 만들려 시도한 사람 중 하나였고, 어쩌면 성공에 가장 가까이 다가간 사람이기도 했다.
추측을 정리한 사람이 곧 회의론자였다
역설적이게도 호지 이론을 오늘날의 언어로 다듬은 장본인이 바로 베유다. 두 사람의 직접 교류는 많지 않았다. 기록으로 남은 가장 이른 흔적은 1947년, 베유가 앙리 카르탕에게 보낸 편지에서 호지의 책을 공부하며 대수다양체에 적용해 보고 있다고 언급한 대목이다. 베유는 호지 이론의 중요성을 강하게 인정하면서도 그 표기법을 "텐서들의 끔찍한 샐러드"라고 날카롭게 비판했다. 10년 뒤 그는 켈러 다양체에 관한 입문서를 써서 켈러–호지 기법을 더 깔끔한 언어로 재구성했고, 이는 "독자의 이해를 돕기 위한" 것이라고 밝혔다. 오늘날 통용되는 호지 이론의 표기와 구성은 상당 부분 이 책에서 굳어졌으며, 그의 부고에서는 이 책이 호지 이론의 첫 현대적 서술로 꼽혔다.
두 사람의 인연은 상을 두고도 얽혔다. 전후 첫 필즈상 심사에서 호지는 베유에게 상을 주자고 가장 강하게 밀어붙인 위원 중 하나로, 그러지 않으면 "우리의 의무를 저버리는 것일 수 있다"고 경고했다. 그 노력은 끝내 관철되지 못했다. 이후 필즈상에 40세라는 나이 제한이 생긴 것도 심사위원들이 같은 딜레마를 다시 겪지 않게 하려는 배려였는지 모른다. 시상이 이뤄진 세계수학자대회에서 베유는 정수론과 대수기하학을 통합적으로 조망하는 강연을 했고, 닷새 뒤 호지가 또 다른 강연에서 호지 추측의 원형을 발표했다.
왜 베유는 믿지 않았나
초기의 호지 추측은 레프셰츠의 (1,1)-정리를 자연스럽게 확장한 것처럼 보여 의심할 이유가 별로 없었다. 레프셰츠는 이미 (p=1) 경우를 해결했고 2차 호지류는 모두 인자(divisor)에서 나온다. 따라서 다양체의 호지환 전체가 2차 호지류로 생성된다면 추측은 자동으로 따라 나온다. 1960년대에 멈퍼드와 테이트가 바로 이 경로를 파고들었지만, 멈퍼드가 이 접근을 끊어 놓는 반례를 발견했다. 인자들의 곱으로 쓸 수 없는 (2,2) 호지류를 지닌 CM형 아벨 4차원 다양체, 이른바 예외적 호지류였다.
그다음 이야기는 테이트가 세르에게 보낸 편지로 전해진다. 1965년 테이트가 베유에게 이 반례를 알리자, 베유는 그것이 4차원 예시족의 특수한 경우일 뿐임을 곧바로 간파했다. 그는 허수 이차체 대칭을 추가로 지닌 특별한 아벨 다양체를 떠올렸다. 이 대칭이 복소 방향을 크기가 같은 두 무리로 나누는 덕분에, 그 곱으로 얻는 2차원 유리 코호몰로지 공간은 (n,n)형이 보장되어 곧 2차원 호지류 공간이 된다. 훗날 '베유류(Weil classes)'로 불리게 된 이 대상들은 대응하는 대수적 부분다양체를 미리 알 필요 없이 순전히 대칭과 선형대수 구조에서 자동으로 튀어나온다. 베유는 여기서 의심을 품었다. 대칭만으로 생성되는 이 류가 왜 반드시 진짜 대수적 순환에 대응해야 하는가. 단 하나의 베유류라도 어떤 대수적 순환에도 대응하지 않음을 보이면 추측은 무너진다. 그는 세르에게 "당신과 멈퍼드는 호지 추측을 믿는 듯하니 이 비정상적 류에 대응하는 대수적 순환을 제시할 몫은 당신들에게 있고, 나는 믿지 않는 쪽이니 그런 순환이 없음을 보이려 하겠다"고 적었다.
베유의 시도는 물론 성공하지 못했다. 성공했다면 호지 추측은 밀레니엄 난제가 되지 않았을 것이다. 이는 모델·리만 추측, 나아가 페르마·랑글랜즈 추측을 대하던 그의 방식과 닮았다. 큰 추측 앞에서 그는 100년간 아무도 못 낸 첫 돌파를 내거나, 특정 해법 경로가 수학의 미래에 갖는 중요성을 즉시 알아채 학문 전체의 방향을 이끌곤 했다. 최종 해결자는 대개 그가 아니었지만, 원문 필자는 바로 그런 유형이야말로 AI 시대에 가장 필요한 수학자일지 모른다고 짚는다.
반례가 열어젖힌 다른 문
약 10년 뒤 알포르스의 70세 기념 학회에서도 베유는 호지 추측을 어떻게 공략할지 도발적으로 공개 토론했다고 베네딕트 그로스는 회고한다. 당시 경력 초기였던 그로스는 청중석에서 베유의 아이디어를 변형해 촐라–셀버그 공식과 관련된 주기 항등식을 증명했고, 이를 곧 논문으로 만들었다. 세르가 그를 들리뉴에게 소개했고, 그로스가 결과를 설명하자 들리뉴는 놀라며 "호지 추측을 증명한 것이냐"고 물었다. 몇 주 뒤 들리뉴가 보낸 세 쪽짜리 초고는 훗날 아벨 다양체 위의 모든 호지 순환이 '절대 호지(absolutely Hodge)'라는 유명한 결과로 발전했다. 밀른의 지적처럼 아벨 다양체는 원래 호지 추측에서 쉬운 축에 속했어야 했다. 그런데 50년이 지나도록 수학계는 베유의 호지류가 대수적임을 증명하지 못했고, 이는 추측에 대한 믿음을 크게 흔들었다.
실무자에게 이 이야기가 주는 함의는 소문의 진위보다 그 구조에 있다. 60여 년간 최고 수준의 회의와 공략을 견뎌낸 문제를 자동화 도구가 단숨에 뒤집었다고 보기엔 근거가 없으니, 'AI 반례' 주장은 검증 전까지 신중히 다뤄야 한다. 다만 베유의 궤적은 도구가 후보를 쏟아내는 시대일수록 방향을 잡는 안목이 더 중요해짐을 보여준다. 반례 탐색은 실패했어도 절대 호지류 같은 새 개념을 낳으며 분야를 움직였다. 어떤 경로가 가치 있는지 알아보고 판을 짜는 판단은 여전히 사람의 몫이다. 베유 자신의 말이 이를 요약한다. "'호지 추측'이 던지는 질문은 매우 자연스럽다. 그러나 '추측'이라는 말에도 불구하고, 내가 아는 한 그것을 믿을 이유는 조금도 없다. 반례로 이 문제를 매듭지을 수 있다면 기하학자들에게 큰 도움이 될 것이다."