358년 묵은 난제를 다락방에서 7년간 풀어낸 사람, 앤드루 와일스 이야기

1637년, 프랑스 수학자 피에르 드 페르마가 읽던 책의 여백에 짧은 메모를 남겼어요. 'n이 2보다 클 때 x^n + y^n = z^n을 만족하는 자연수 해는 존재하지 않는다. 나는 놀라운 증명을 발견했지만 여백이 좁아 적지 않는다.' 이 낙서 한 줄이 그 유명한 '페르마의 마지막 정리'인데요. 문제 자체는 중학생도 이해할 만큼 단순한데, 이후 358년 동안 세계 최고의 수학자들이 도전했다가 전부 실패했어요. 그리고 1994년, 영국 수학자 앤드루 와일스가 마침내 증명에 성공하죠. PBS 다큐멘터리 NOVA가 와일스를 직접 인터뷰한 이 글은 그 7년의 여정을 본인의 목소리로 들려주는데요. 읽다 보면 수학 이야기라기보다는 한 사람의 길고 처절한 디버깅 기록처럼 느껴지거든요. 개발자라면 공감할 대목이 많아요.

열 살 소년이 도서관에서 만난 문제

와일스는 열 살 때 동네 도서관에서 이 문제를 처음 만났어요. 어린아이도 문제를 이해할 수 있는데 300년 넘게 아무도 못 풀었다는 사실에 완전히 매료됐다고 해요. 그런데 정작 수학자가 된 뒤에는 이 문제를 일부러 멀리했는데요. 당시 페르마의 정리는 현대 수학의 주류와 동떨어진 '고립된 퍼즐' 취급을 받았고, 여기에 인생을 걸었다가는 경력만 낭비할 거라는 분위기였거든요.

상황이 바뀐 건 1986년이에요. 켄 리벳이라는 수학자가 '타니야마-시무라 추론을 증명하면 페르마의 마지막 정리가 자동으로 따라온다'는 연결고리를 증명한 거예요. 타니야마-시무라 추론이 뭐냐면, 타원곡선이라는 수학적 대상과 모듈러 형식이라는 전혀 다른 대상이 사실은 하나로 연결돼 있다는 추측이에요. 비유하자면 서로 다른 언어로 쓰인 두 권의 사전이 알고 보니 같은 내용을 담고 있다는 주장인 셈이죠. 이 순간 페르마의 정리는 변방의 퍼즐에서 현대 수학의 중심 문제로 바뀌었고, 와일스는 어릴 적 꿈을 다시 꺼내 들어요.

다락방에서의 7년, 그리고 배포 후 발견된 치명적 버그

와일스가 특이했던 건 연구를 철저히 비밀로 했다는 점이에요. 7년 동안 집 다락방 서재에서 혼자 연구했고, 가까운 동료에게도 알리지 않았어요. 워낙 유명한 문제라 소문이 나면 경쟁이 붙고 집중이 흐트러질 거라 판단했던 거죠. 요즘으로 치면 사이드 프로젝트를 7년간 스텔스 모드로 개발한 셈인데요. 1993년 6월 케임브리지 강연에서 마침내 증명을 발표했고, 수학 증명이 신문 1면에 실리는 보기 드문 장면이 연출됐어요.

그런데 반전이 있었어요. 논문 심사 과정에서 증명의 핵심부인 '콜리바긴-플라흐 방법'을 적용한 부분에 결함이 발견된 거예요. 개발자식으로 말하면 7년짜리 프로젝트를 화려하게 릴리스했는데, 코드 리뷰에서 핵심 로직의 버그가 발견된 상황이죠. 와일스는 이후 14개월 동안 이 구멍을 메우려고 씨름했는데, 인터뷰에서 이 시기를 인생에서 가장 고통스러운 시간으로 회고해요. 전 세계가 지켜보는 가운데 '그 증명, 사실 틀렸다더라'라는 말이 퍼지는 걸 견뎌야 했으니까요.

돌파구는 1994년 9월 19일 아침에 왔어요. 거의 포기하는 심정으로, 왜 실패했는지라도 정리하자며 마지막으로 그 방법을 들여다보다가 문득 깨달은 거예요. 예전에 시도했다가 버렸던 이와사와 이론과 콜리바긴-플라흐 방법을 결합하면 서로가 서로의 빈틈을 정확히 메운다는 사실을요. 와일스는 이 순간을 '말로 다 표현할 수 없을 만큼 아름다웠다'고 회상해요. 결국 제자였던 리처드 테일러와 함께 보완 논문을 완성해 1995년 최종 출판했고, 358년의 난제는 그렇게 닫혔어요.

개발자가 읽어도 좋은 이유

이 이야기에는 소프트웨어 개발과 겹치는 지점이 많아요. 첫째, 와일스는 문제를 정면 돌파하지 않았어요. 페르마의 정리를 직접 공략한 게 아니라 타니야마-시무라 추론이라는 다른 문제로 '환원'해서 풀었죠. 어려운 문제를 이미 도구가 있는 문제로 바꿔 푸는 것, 우리가 매일 하는 추상화와 같은 사고방식이에요. 둘째, 실패가 축적돼 해답이 됐어요. 몇 년간 매달렸다 버린 접근이 결정적 순간에 마지막 퍼즐 조각이 됐거든요. 실패한 시도도 기록해둘 가치가 있다는 거죠. 셋째, 결함을 잡아낸 건 동료 심사, 즉 리뷰 프로세스였어요. 아무리 뛰어난 사람의 결과물도 리뷰를 거쳐야 완성된다는 것, 코드 리뷰의 가치와 정확히 같아요.

마무리

한 줄로 정리하면, 페르마의 마지막 정리 증명은 한 사람의 7년 몰입과, 리뷰가 찾아낸 결함과, 다시 14개월의 디버깅이 그것을 메운, 인류 역사상 가장 긴 프로젝트 회고록이에요. 여러분도 몇 달, 혹은 몇 년씩 붙잡고 놓지 못했던 문제가 있나요? 그 문제를 결국 어떻게 해결하셨는지, 아니면 어떻게 놓아주셨는지 궁금하네요.