지난 10월 6일 오픈AI가 700편이 넘는 수학 연구 논문을 한꺼번에 공개한 사건은 수학사의 분수령으로 기록될 만하다. AI가 여러 분야에서 돌파구가 될 만한 기여를 할 수 있다는 사실이 더는 부정하기 어려워졌기 때문이다. 그런데 정작 상당수 수학자들은 불편해하고 있다. 프린스턴 수학자 테런스 타오의 블로그에 올라온 프랭크 칼레가리의 기고문은, 이 불편함의 정체를 짚으면서 수학 공동체가 무엇을 바꿔야 하는지를 묻는다. 한국의 소프트웨어·연구 실무자에게도 이 논의는 결코 남의 일이 아니다. 성과를 생산하는 능력과 그 성과를 이해하고 방향을 잡는 능력 사이의 간극이라는 주제는, 코드 생성 AI가 일상이 된 개발 현장의 고민과 정확히 겹친다.
불편함의 두 갈래
칼레가리는 반발의 원인을 두 가지로 나눈다. 하나는 AI 기업들이 수학의 관행을 무시한다는 점이다. 공개된 오픈AI 논문들은 뛰어난 아이디어를 담고 있으면서도 서술이 형편없고, 출처 표기(attribution)라는 공동체의 기대를 위반하며, 일부는 아예 틀렸다. 다른 하나는 자신이 사랑하는 분야가 '속이 비워지고' 있다는 상실감이다. 다만 칼레가리는 이 상실감이 과장이라고 본다. 이번 공개는 랭글랜즈 프로그램의 함자성·상호성 같은 핵심 문제에는 거의 흠집을 내지 못했고, 설령 랭글랜즈 전체가 풀렸다 해도 그것이 '수론을 끝냈다'고 말하는 것은 주기율표의 완성이 화학을 끝냈다고 말하는 것만큼 순진하다는 것이다. 중심 문제란 이해의 가장 자연스러운 경계일 뿐, 그것을 여는 일은 끝이 아니라 새로운 놀이터를 찾는 첫걸음이라는 설명이다.
물론 더 크게 타격받은 분야도 있다. 침투 이론(percolation)의 위고 뒤미닐코팽은 자신이 평생 공개적으로 언급해온 주요 미해결 문제들이 하나도 빠짐없이, 그것도 한꺼번에, 무심하게 '증명되었다'고 주장되는 상황을 토로했다. 칼레가리는 여기에 역사적 선례를 겹쳐놓는다. 유한단순군의 분류가 그것이다.
유한단순군 분류라는 거울
1972년 댄 고렌슈타인이 분류 프로그램을 선언했고, 약 10년의 집중적 작업 끝에 1983년 분류 완성이 발표됐다. 다만 준세(quasithin)군의 경우는 20여 년 뒤 아슈바허와 스미스가 마무리했을 만큼 그 선언은 다소 성급했다. 칼레가리가 주목하는 대목은 성공의 이면이다. '유명한 문제'가 사라지자 분야에 대한 관심이 식었고 수학자들의 시선은 다른 곳으로 옮겨갔다. 그러나 유한군론에는 여전히 풍부한 질문이 남아 있다. 이를테면 존 콘웨이가 가장 좋아했던 질문, 즉 '몬스터 군은 왜 존재하는가'는 아직 답이 없다. 지금 수학계에 필요한 것은 고렌슈타인·라이언스·솔로몬이 수행한 '수정 분류(revised classification)' 같은 정리 작업이며, 동시에 분야를 '끝났다'고 선언하지 않고 새 도구로 더 깊이 파고들 여지가 있다고 선언할 책임이라는 것이 그의 주장이다.
증명을 찍어내는 경쟁의 함정
칼레가리가 가장 날카롭게 경고하는 지점은 '먼저 증명했다'는 타이틀을 둘러싼 조급한 경쟁이다. arXiv에는 AI의 도움을 받은 논문이 속도전처럼 쏟아지고 있고, 새로운 증명을 만드는 능력과 그것을 이해하거나 분야를 새 방향으로 밀고 나가는 능력 사이의 격차가 빠르게 벌어지고 있다. 그 결과 라이덴 선언은 이름만 지켜질 뿐 정신은 지켜지지 않고, 시간 척도만 압축된 '평소의 업무'에 선취당할지 모른다는 불안이 상시로 드리운다. 크리스티안 세게디가 말했듯, 아무도 오르지 못한 곳을 오르는 특유의 영웅적 능력은 덜 중요해지고, 어떤 지형을 탐험할 가치가 있는지 고르는 일, 탐사의 흐름을 지휘하는 일, 발견한 것을 세상에 설명하는 일이 더 중요해진다.
여기서 칼레가리의 기준이 선명해진다. 가치 있는 문제를 고르고, 전적으로 AI로 증명을 얻었더라도 그것을 철저히 이해해 흥미로운 후속 질문과 방향으로 발전시킨 사람은 실질적 기여를 한 것이며, 원래 증명에 새 재료를 보태지 않았더라도 상당한 공로를 인정받아 마땅하다는 것이다. 결국 증명을 생산하는 일보다 '어떤 문제를 고르느냐'가 더 중요해질 수 있다. AI에 선취당할까 스트레스를 받는 종신직 수학자가 있다면, 그것은 충분히 야심적이지 않다는 신호라고 그는 잘라 말한다.
수사보다 경제가 바꾼다
주목할 만한 통찰은 담론만으로는 행동이 바뀌지 않는다는 현실 인식이다. 수학자들이 원하는 것은 인정·일자리·연구비이고, 공동체가 가진 실질적 지렛대는 채용과 저널 게재다. 칼레가리는 난수를 손으로 소인수분해하는 데 세 번의 봄과 여름의 일요일을 바친 넬슨 콜의 사례를 든다. 당대에는 그것이 수학에 대한 기여였지만, 오늘날 같은 작업을 손으로 해낸다면 경이로운 연산 묘기일 뿐 컴퓨터 대수 시스템이 1초도 안 되어 처리하는 결과에 대한 기여로서는 미미하다. 기계가 만들 수 있는 결과를 담았다는 이유만으로 논문을 보상하지 말되, 새 증명이 도입한 아이디어에는 결론이 이미 기계로 얻어질 수 있더라도 상당한 공로를 인정하자는 제안이다.
이 기고문의 한계도 분명하다. 오픈AI 논문들의 구체적 내용이나 오류 사례가 수치로 제시되지 않아 '상당수가 뛰어나지만 일부는 틀렸다'는 서술은 검증보다 인상에 기댄다. 채용과 게재 기준을 바꾸자는 처방 역시 방향일 뿐 구체적 실행 방안은 비어 있다. 그럼에도 개발 현장에 주는 함의는 또렷하다. AI가 산출물의 난이도 경제를 바꿔놓은 지금, 평가의 무게중심을 '무엇을 만들었나'에서 '무엇을 선택하고 이해하고 어디로 이끌었나'로 옮기는 일은 수학계만의 과제가 아니다. 공동체 자체를 지키는 것이 수학 자체보다 중요하다고 여기는 순간이야말로 가장 큰 실수가 된다는 경고는, 도구가 바뀐 모든 지적 직업이 곱씹어볼 만하다.