AI 시대에 수학적 사고가 여전히 중요한 이유 — 필즈상 수상자들의 제언

AI가 수학 문제를 풀어주는 시대, 사람은 뭘 해야 할까?

요즘 AI가 수학 올림피아드 문제를 풀고, 정리를 증명하고, 심지어 새로운 수학적 구조를 발견하기까지 하잖아요. 이쯤 되면 자연스럽게 이런 질문이 나와요. "그러면 사람이 수학을 공부하는 의미가 뭐지?" 이 질문에 대해 세계 최고의 수학자들이 직접 답을 내놨어요.

최근 arXiv에 공개된 논문 "Mathematical Methods and Human Thought in the Age of AI"는 꽤 특별한 글인데요. 필즈상(수학의 노벨상이라 불리는 상) 수상자인 테렌스 타오(Terence Tao)를 비롯한 저명한 수학자·컴퓨터 과학자들이 참여해서, AI 시대에 수학적 방법론과 인간 사고의 관계를 깊이 있게 논의한 글이에요.

핵심 주장: AI는 도구이지, 사고의 대체재가 아니다

이 논문의 가장 중요한 메시지를 한 줄로 요약하면 이거예요. AI가 계산과 패턴 인식에서 인간을 뛰어넘더라도, 수학적 사고 방식 자체의 가치는 줄어들지 않는다는 거예요.

이게 뭐냐면, 수학적 사고라는 건 단순히 방정식을 푸는 게 아니거든요. 문제를 정확하게 정의하고, 추상화하고, 논리적으로 추론하는 능력이에요. 프로그래밍으로 치면, 코드를 작성하는 능력과 시스템을 설계하는 능력의 차이랑 비슷해요. AI가 코드를 잘 짜줘도, "어떤 문제를 풀어야 하는지", "왜 이 접근이 맞는지"를 판단하는 건 여전히 사람의 영역이라는 거죠.

논문에서는 특히 형식화(formalization)의 중요성을 강조해요. 현실의 모호한 문제를 수학적으로 명확하게 정의하는 과정 말이에요. 예를 들어 "이 시스템이 안전한가?"라는 질문을 "어떤 입력에 대해서도 이 조건을 만족하는가?"로 바꾸는 게 형식화인데요. AI는 형식화된 문제를 푸는 건 잘하지만, 형식화 자체는 인간의 직관과 맥락 이해가 필요한 영역이에요.

개발자에게 수학적 사고가 중요한 구체적인 이유

"나는 수학자가 아니라 개발자인데?"라고 생각하실 수 있는데요. 사실 소프트웨어 개발에서 수학적 사고는 이미 곳곳에 녹아 있어요.

알고리즘의 시간 복잡도를 분석할 때 빅오(Big-O) 표기법을 쓰잖아요. 이건 수학적 추상화의 전형적인 예예요. 분산 시스템에서 합의 알고리즘(Raft, Paxos)이 왜 이렇게 설계됐는지를 이해하려면 수학적 증명의 논리를 따라갈 수 있어야 하고요. 데이터베이스 정규화, 타입 시스템, 함수형 프로그래밍의 기초는 전부 수학이에요.

AI 시대에 이게 더 중요해지는 이유가 있어요. AI가 생성한 코드를 검증하려면, 그 코드가 왜 맞는지(또는 틀린지)를 판단할 능력이 있어야 하거든요. AI에게 "이 함수가 항상 올바른 결과를 반환하는지 증명해줘"라고 물을 수는 있지만, 그 증명이 타당한지 확인하는 건 결국 사람이에요. 이게 바로 수학적 사고가 필요한 순간이죠.

AI와 수학의 협업이 만들어내는 새로운 가능성

논문에서 흥미로운 부분 중 하나는, AI가 수학 연구의 방식 자체를 바꾸고 있다는 이야기예요. 테렌스 타오는 이전에도 AI를 활용한 수학 연구 경험을 공유한 적이 있는데요. AI가 수백 개의 후보 증명 경로를 탐색하고, 인간 수학자가 그중에서 유망한 것을 골라 깊이 파고드는 식의 협업이 가능해지고 있다는 거예요.

이건 소프트웨어 개발에서도 비슷한 패턴이 나타나고 있어요. AI가 여러 가지 구현 방식을 제안하면, 개발자가 아키텍처적 판단을 내려서 최선의 방향을 선택하는 거죠. 이때 "어떤 기준으로 선택하느냐"가 개발자의 역량이 되는 건데, 그 기준을 세우는 힘이 바로 논리적·수학적 사고에서 나와요.

Lean, Coq, Isabelle 같은 형식 검증 도구(formal verification)들도 주목받고 있어요. 이게 뭐냐면, 수학 증명이나 프로그램의 정확성을 기계적으로 검증해주는 도구인데요. AI가 증명을 생성하고 이런 도구가 검증하는 조합이 점점 현실화되고 있거든요. 이 분야를 이해해두면 앞으로 꽤 쓸모가 있을 거예요.

업계 맥락에서 바라보면

AI와 수학의 관계에 대한 논의는 최근 몇 년간 급격히 활발해졌어요. 구글 딥마인드의 AlphaProof가 수학 올림피아드에서 은메달 수준의 성과를 냈고, Meta의 연구팀도 AI를 활용한 정리 증명에서 성과를 내고 있어요.

하지만 이 논문의 저자들은 단순히 "AI가 수학을 잘한다"는 이야기를 넘어서, "그래서 인간 교육과 사고 훈련은 어떻게 바뀌어야 하는가"를 묻고 있어요. 계산기가 나왔다고 암산 훈련을 완전히 버린 게 아니듯, AI가 나왔다고 수학적 사고 훈련을 버리면 안 된다는 거예요. 오히려 도구가 강력해질수록 그 도구를 다루는 사람의 판단력이 더 중요해지니까요.

한국 개발자에게 주는 시사점

한국 개발 커뮤니티에서는 "AI가 코딩을 대체할까?"라는 논의가 이미 활발한데요. 이 논문의 관점을 적용하면 답은 좀 더 명확해져요. 대체되는 건 반복적인 구현 작업이고, 더 중요해지는 건 문제를 정의하고 솔루션을 평가하는 능력이에요.

구체적으로 실천할 수 있는 것들이 있어요. 알고리즘 문제를 풀 때 단순히 정답을 맞추는 것을 넘어 "왜 이 접근이 최적인지"를 논리적으로 설명하는 연습을 해보세요. 시스템 설계 면접 준비도 좋은 훈련이에요. 트레이드오프를 분석하고 근거를 대는 과정이 수학적 사고와 본질적으로 같거든요.