350년 동안 아무도 못 푼 문제
수학에 '페르마의 마지막 정리'라는 유명한 문제가 있는데요. 내용 자체는 중학생도 이해할 수 있을 만큼 단순해요. "n이 3 이상일 때, xⁿ + yⁿ = zⁿ을 만족하는 양의 정수 x, y, z는 존재하지 않는다"는 거예요. n이 2일 때는 피타고라스 정리로 익숙한 3² + 4² = 5² 같은 해가 무수히 많은데, 지수가 3만 되어도 해가 하나도 없다는 거죠.
이 문제가 전설이 된 건 1637년 프랑스 수학자 페르마가 책 여백에 남긴 메모 때문이에요. "나는 이것의 놀라운 증명을 발견했지만, 여백이 좁아서 적지 않는다"라고 써놓고 세상을 떠났거든요. 그 뒤로 350년 넘게 수많은 천재 수학자들이 도전했지만 아무도 완전한 증명을 내놓지 못했어요. 이번에 공유된 영상은 이 문제를 마침내 해결한 앤드루 와일스가 1995년 무렵 그 과정을 직접 이야기하는 강연인데요, 수학 강의라기보다 한 편의 드라마에 가까워요.
7년간의 비밀 프로젝트
와일스는 열 살 때 동네 도서관에서 이 문제를 처음 만났대요. 어린아이도 문제를 이해할 수 있는데 아무도 못 푼다는 사실에 매료됐고, 그게 평생의 목표가 됐죠. 그리고 프린스턴 대학 교수가 된 후 1986년부터 무려 7년 동안, 다락방 서재에서 혼자, 그것도 비밀리에 이 문제에 매달렸어요. 동료들에게도 말하지 않았는데요, 워낙 유명한 문제라 소문이 나면 주변의 관심 때문에 집중할 수 없을 거라고 판단했기 때문이에요.
공략법이 재미있어요. 페르마의 정리를 정면으로 공격한 게 아니라, 완전히 다른 분야처럼 보이는 '타니야마-시무라 추측'을 증명하는 우회로를 택했거든요. 이게 뭐냐면, '타원곡선'이라는 기하학적 대상과 '모듈러 형식'이라는 해석학적 대상이 사실은 같은 것이라는 추측이에요. 전혀 다른 두 세계를 잇는 다리 같은 거죠. 그런데 1980년대에 다른 수학자들이 "만약 페르마의 정리가 틀렸다면, 그 반례를 이용해 타니야마-시무라 추측을 깨는 이상한 타원곡선을 만들 수 있다"는 걸 보여줬어요. 뒤집어 말하면, 타니야마-시무라 추측을 증명하면 페르마의 정리가 자동으로 따라오는 구조가 만들어진 거예요. 와일스는 바로 이 다리를 건너기로 한 거죠.
마지막 순간에 발견된 치명적 버그
1993년 6월, 와일스는 케임브리지의 한 학회에서 사흘에 걸친 강연 끝에 "그러므로 페르마의 마지막 정리가 증명됩니다"라고 선언했어요. 전 세계 언론이 대서특필했죠. 그런데 반전이 있었어요. 논문 심사 과정에서 증명의 핵심 부분에 미묘한 결함이 발견된 거예요. 개발자 식으로 말하면, 7년짜리 프로젝트를 배포했는데 코드 리뷰에서 치명적인 버그가 잡힌 상황이랄까요.
와일스는 그 후 1년 넘게 이 구멍을 메우려고 사투를 벌였어요. 전 세계가 지켜보는 가운데 실패가 공개될지도 모르는 압박 속에서요. 포기 직전이던 1994년 9월, 제자였던 리처드 테일러와 함께 예전에 버렸던 접근법을 다시 들여다보다가 결정적인 통찰을 얻어요. 실패했다고 생각했던 옛 방법과 새 방법을 결합하면 구멍이 정확히 메워진다는 걸 발견한 거죠. 와일스는 이 순간을 인생에서 가장 중요한 순간이었다고 회고해요.
개발자가 이 이야기에서 배울 점
이 이야기가 개발자에게 유독 와닿는 이유가 있어요. 첫째, 어려운 문제는 정면 돌파보다 문제를 '변환'해서 푸는 경우가 많다는 거예요. 페르마의 정리를 타원곡선 문제로 바꾼 것처럼, 우리도 까다로운 버그나 설계 문제를 다른 층위의 문제로 바꿔서 해결할 때가 많잖아요. 둘째, 리뷰의 가치예요. 7년을 혼자 판 결과물에서도 결함은 나왔고, 그걸 잡아낸 건 동료들의 검증이었어요. 셋째, 실패한 접근법도 함부로 버리지 말라는 거예요. 와일스의 마지막 퍼즐 조각은 3년 전에 폐기했던 방법 안에 있었거든요.
한 줄로 정리하면, 350년 묵은 난제도 결국 꾸준함과 문제 변환, 그리고 협업으로 풀렸다는 이야기예요. 여러분은 몇 년씩 매달려서라도 풀고 싶은 '인생 문제'가 있으신가요? 아니면 오래 붙잡다가 포기했는데 나중에 다시 보니 풀렸던 경험이 있다면 공유해 주세요.
🔗 출처: Hacker News