TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 104 READS

AI 에이전트가 파이썬 내부를 Lean으로 베껴 쓰자 버그 418건이 드러났다

AI 에이전트가 파이썬 내부를 Lean으로 베껴 쓰자 버그 418건이 드러났다
SOURCE IMAGE · HACKER NEWS

파이썬에는 정밀한 문서 정의가 없다. 레퍼런스 매뉴얼이 있긴 하지만, 실무에서 '파이썬'이란 결국 CPython이 하는 대로를 뜻한다. 그리고 CPython은 수십만 줄의 C 코드에 방대한 표준 라이브러리가 얹힌 구현체다. 매뉴얼은 정상적인 사용법은 다루지만 예외적인 경우에 대해서는 거의 말하지 않는다. 바로 그 틈, 예컨대 딕셔너리가 자기 자신을 탐색하는 도중에 그 딕셔너리를 바꿔 버리는 객체, 업데이트 중간에 던져지는 예외, C 코드가 상정한 최댓값을 한 칸 넘어선 정수 같은 곳에 버그가 숨는다.

한 프로젝트가 이 틈을 겨냥했다. AI 에이전트들이 CPython의 함수를 한 줄씩 Lean 언어로 복제하고, 각 조각을 실제 파이썬과 대조해 검증하고, 컴퓨터로 모든 증명을 검사하게 한 것이다. 2026년 10월 29일 시작된 이 작업은 현재까지 1,539개 파일, 613,318줄의 Lean 코드와 18,898개의 정리·보조정리를 쌓았고, 그 과정에서 파이썬 버그 418건을 찾아 보고로 이어졌다. 어떤 함수에 대한 증명을 쓰려면 그 함수가 '모든' 경우에 정확히 무엇을 하는지 말해야 한다. 증명 검사기는 모호함을 받아주지 않기 때문에, 증명은 코드가 통념과 다르게 동작하는 지점을 드러내는 좋은 도구가 된다.

참이지만 쓸모없는 증명이라는 함정

정작 어려웠던 것은 에이전트에게 증명을 쓰게 하는 일이 아니라 '의미 있는' 증명을 받아내는 일이었다. 처음에는 폭을 우선해 모든 함수를 복제하고 각각에 대해 최소 한 가지를 증명하게 했다. 에이전트들은 해냈지만, 별도 검토 결과 검사한 함수 중 절반도 성립하지 않았고 한 파일에서는 21%에 그쳤다. 증명 자체는 전부 옳았다. 다만 아무 의미가 없었다. 예를 들어 '이 함수가 숫자를 반환하면 그 숫자는 0 이상이다'는 참이지만, 항상 멈춰 버리는 함수도 이 조건을 만족한다. 그래서 검토자는 이제 모든 증명에 한 가지 질문을 던진다. 망가진 버전의 함수도 이 증명을 통과할 수 있는가. 약한 증명을 고치는 일은 대개 복제본을 더 현실적으로, 이를테면 함수 중간에 사용자 코드가 예외를 던질 수 있게 다시 쓰는 작업으로 이어진다.

검사를 통과한 증명은 '명제가 복제본으로부터 따라 나온다'는 것만 보장할 뿐, 복제본이 실제 파이썬과 일치한다는 것은 보장하지 못한다. 그래서 받아들여진 모든 명제는 다시 실제 파이썬에 대해 실행된다. 이 단계에서 논리적으로는 타당하지만 현실과는 어긋난 증명들이 걸러졌다. 파이썬의 고속 JSON 인코더 복제본은 메모리 요청이 항상 성공한다고 가정한 탓에 16테라바이트가 필요한 중첩 깊이에서도 들여쓰기 문자열을 만들 수 있다고 '증명'했지만, 실제 파이썬은 메모리 부족으로 죽는다. pickle 모듈의 중첩 호출 깊이 증명은 갓 시작된 프로세스에서 텍스트 코덱을 처음 로딩할 때 추가로 생기는 아홉 단계를 놓쳤다. 테스트 하네스가 이미 코덱을 올려 둔 상태였기 때문에 테스트에서는 보이지 않던 경우였다.

메모리를 건드리는 진짜 버그들

증명이 실패한 원인이 복제본이 아니라 파이썬 자체일 때, 그것은 버그 리포트가 된다. 각 보고서에는 파이썬 3.15.2(대부분 개발 버전에서도)에서 버그를 재현하는 짧은 스크립트와 중복 여부 확인, 그리고 심각도에 대한 솔직한 평가가 담긴다. 대부분은 잘못된 오류 메시지나 문서와 다른 경계 동작처럼 사소하다. 그러나 약 55건은 평범한 파이썬 코드만으로 인터프리터를 죽이거나 메모리를 오염시킬 수 있는데, 대개 C 코드가 컨테이너를 사용하는 도중에 사용자 코드가 그 컨테이너를 바꾸는 식이다. 집합(set) 복제본은 해제된 메모리 주소가 다시 쓰이지 않는다고 가정했지만, 실제 할당기는 주소를 재사용하며, CPython이 내부 교체를 감지하려고 쓰는 '주소가 바뀌었나' 검사가 이 때문에 속을 수 있다는 사실이 새로운 메모리 버그로 보고됐다.

구체적 사례도 다양하다. 같은 클래스의 다른 객체가 어떤 속성을 가진 상태에서, 그 속성이 없는 객체의 속성 딕셔너리에 StrEnum 키로 setdefault를 호출하면 인터프리터가 죽는다. ElementTree 요소의 역방향 슬라이스에 대입하면 리스트처럼 삽입되어야 하지만 한 자식을 참조 없이 복제하고 다른 자식을 잃는다. 대괄호 안에 공백이 든 Message-ID는 이메일 파서를 내부 오류로 무너뜨리는데, 그 헤더는 메일을 보낸 쪽에서 온다. 3.15에서 새로 들어온 base32 디코더는 특정 문자를 무시할 수 있고, C 피클러와 순수 파이썬 피클러가 서로 다른 중첩 깊이에서 포기하는 문제는 2008년에 처음 보고되고도 여전히 열려 있다. 파이썬은 적대적 파이썬 코드를 실행하는 것을 보안 경계로 취급하지 않으므로, 이들은 보안 취약점이 아니라 평범한 버그로 분류된다.

실무자가 눈여겨볼 지점

이 접근의 핵심은 파이썬에 국한되지 않는다는 데 있다. 읽을 수 있는 소스 코드와 돌려 볼 수 있는 구현체가 있는 대상이라면 다른 언어, 라이브러리, 파일 형식, 컴파일러에도 똑같이 적용된다. 앞서 Julia를 Lean으로 모델링한 julia-in-lean 프로젝트가 이 작업에 직접 영감을 줬는데, 그 프로젝트가 '빠르게 작성한 증명 130개 중 128개가 어려운 경우를 슬쩍 가정으로 치워 버렸다'고 밝힌 점이 이번 검토 규칙을 형성했다. 검증 자동화에 관심 있는 팀이라면, 형식 증명의 가치가 '맞다'를 보이는 데 있는 것이 아니라 '모든 경우를 명시하도록 강제함으로써 암묵적 가정을 드러내는' 데 있다는 교훈을 눈여겨볼 만하다.

다만 한계도 분명하다. 현재까지 검토를 통과한 것은 검토 가치가 있는 26,004개 함수 중 4,071개, 15.7%에 불과하다. 특히 파이썬 자체로 작성된 표준 라이브러리의 상당 부분과 멀티스레딩은 아직 범위 밖이다. 최상위 속성 3,834개가 참으로, 588개가 반례와 함께 거짓으로 증명됐다는 수치는 인상적이지만, 대부분의 파이썬은 여전히 검증되지 않은 채 남아 있다. 작업 지침인 AGENTS.md와 검토용 REVIEW_PROMPT.md, 함수별 진행 상태를 담은 coverage/methods가 모두 공개되어 재사용을 전제로 제공되며, 아직 todo로 표시된 파일을 골라 기존 작업을 독립적으로 검토하는 것만으로도 기여가 된다. AI가 대부분의 손을 움직였음에도 결과가 신뢰를 유지할 수 있었던 이유는, 증명 검사기와 실제 파이썬 실행이라는 두 겹의 기계적 검증이 사람의 판단을 대신 지탱했기 때문이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://broyojo.com/python-formalization/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...