TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 61 READS

‘형식 검증됨’이라는 말은 누가 검증하나요? 증명된 코드도 틀릴 수 있는 이유

도발적인 제목 하나

테스팅과 검증에 관한 글을 꾸준히 써 온 Alperen Keles가 “Formal Verification Is Not Verifiable”, 우리말로 “형식 검증은 검증할 수 없다”라는 제목의 글을 올렸어요. 수학적으로 증명까지 했다는데 그걸 검증할 수 없다니, 말장난처럼 들리죠.

하지만 이 제목은 요즘 분위기에서 꽤 중요한 질문을 건드려요. AI가 코드를 쏟아내면서 “사람이 다 리뷰할 수 없으니 증명으로 해결하자”는 기대가 커지고 있거든요. Lean 같은 증명 보조기와 LLM을 묶어서, AI가 코드와 함께 증명까지 써오게 하자는 거죠. 그런데 그 증명이 “내가 원한 것”을 증명했는지는 누가 확인할까요? 아래에서는 이 질문을 형식 검증 분야에서 잘 알려진 사례들로 풀어볼게요. 저자의 구체적인 논증은 원문에서 직접 읽어보시길 권해요.

형식 검증이 뭐냐면

테스트는 “입력 몇 개를 넣어봤더니 괜찮더라”예요. 형식 검증(formal verification)은 한 발 더 나아가 “가능한 모든 입력에 대해 이 성질이 성립한다”를 수학적으로 증명하는 거예요. 순서는 이래요. 프로그램이 지켜야 할 성질을 논리식으로 적은 명세(specification)를 쓰고, 프로그램이 그 명세를 만족한다는 증명을 작성한 뒤, Lean, Coq(지금 이름은 Rocq), Isabelle 같은 증명 검사기가 그 증명을 기계적으로 확인해요.

여기서 중요한 건 기계가 확인해 주는 범위예요. 검사기는 “증명이 명세를 뒷받침하는가”만 봐요. “명세가 당신 머릿속의 의도와 같은가”는 봐주지 않아요.

구멍 1: 명세가 틀리면 증명은 무의미해요

정렬 함수를 검증한다고 해볼게요. 명세를 “출력은 오름차순이다”라고만 썼다면, 어떤 입력이 와도 빈 리스트를 돌려주는 함수가 완벽하게 “검증”돼요. “출력은 입력과 같은 원소들로 이뤄져 있다”는 조건을 빠뜨렸기 때문이죠.

장난감 예제라 금방 보이지만, 실제 시스템의 명세는 수백 줄에서 수천 줄에 이르러요. 전제에 서로 모순되는 가정이 섞이면 무엇이든 증명되는 “공허한 참”이 되기도 하고요. AI에게 증명을 맡기면 문제를 푸는 대신 정리 자체를 쉬운 것으로 바꾸거나 슬쩍 공리를 추가하는 우회도 생길 수 있어요. 그래서 Lean의 #print axioms처럼 정리가 어떤 공리에 기대고 있는지 확인하는 점검이 필수가 돼요. 결국 사람이 명세를 읽고 납득하는 일이 남는데, 이게 코드 리뷰보다 쉽다는 보장은 없어요.

구멍 2: 증명 바깥에 있는 것들

증명은 언제나 어떤 가정 위에 서 있어요. 이 “믿고 넘어가는 부분”을 TCB(Trusted Computing Base, 신뢰 기반)라고 불러요.

대표적인 성공 사례인 seL4 마이크로커널은 처음 검증이 발표됐을 때 약 8,700줄의 C 코드에 20만 줄 규모의 증명이 붙었어요. 그런데도 “하드웨어가 명세대로 동작한다” 같은 가정은 증명 밖에 남아 있고, 프로젝트도 이를 명시해요. 검증된 C 컴파일러 CompCert도 비슷해요. 무작위 프로그램으로 컴파일러를 두들겨 보는 Csmith 연구에서 GCC와 LLVM에서는 수백 개의 버그가 나왔는데, CompCert는 검증된 핵심부에서는 버그가 나오지 않았고 검증되지 않은 주변부에서만 발견됐어요. 검증의 위력과 한계를 동시에 보여준 결과죠.

분산 시스템 쪽도 마찬가지예요. 2017년의 한 실증 연구는 형식 검증된 분산 시스템 세 개를 조사해서 버그 16개를 찾았는데, 검증된 코드와 바깥 세계가 만나는 접점, 그러니까 네트워크와 파일시스템을 감싼 얇은 계층이나 명세, 검증 도구 자체에 몰려 있었어요.

그래서 ‘검증됨’은 무슨 뜻이어야 할까

정리하면 “형식 검증됨”이라는 한마디에는 세 가지 질문이 숨어 있어요. 무엇을 증명했는가(명세), 무엇을 가정했는가(TCB), 그리고 제3자가 그 증명을 다시 돌려볼 수 있는가(재현성)예요. 이 셋이 공개되지 않으면 “검증됨”은 외부에서 확인할 길이 없는 주장이 돼요. 제목의 역설이 가리키는 곳이 바로 여기라고 읽을 수 있어요.

업계의 흐름은 “증명이냐 테스트냐”가 아니라 둘을 겹쳐 쓰는 쪽이에요. AWS는 권한 정책 언어 Cedar를 만들면서 Lean으로 쓴 모델의 성질을 증명하고, 그 모델과 실제 Rust 구현에 무작위 입력을 똑같이 넣어 결과를 비교하는 차등 테스트를 함께 돌려요. 증명은 모델을 보장하고, 테스트는 모델과 현실 사이의 틈을 메우는 식이죠. 커누스의 오래된 농담이 여전히 유효한 셈이에요. “위 코드의 버그를 조심하라. 나는 증명만 했지 실행해 보진 않았다.”

한국 개발자에게 주는 시사점

당장 Lean을 배워야 한다는 얘기는 아니에요. 다만 실무에서 바로 써먹을 만한 게 있어요.

먼저 “검증됨”을 읽는 법이에요. 스마트 컨트랙트 감사 보고서나 보안 제품 소개에서 formally verified라는 말을 보면 명세가 공개돼 있는지, 어떤 가정이 달려 있는지부터 찾아보세요. 다음은 가벼운 검증 도구예요. 속성 기반 테스트(Python의 Hypothesis, JavaScript의 fast-check, Java의 jqwik)는 “모든 입력에 대해 성립해야 하는 성질”을 적는 연습이 되고, 명세 쓰는 감각을 길러줘요. 설계 단계에서는 TLA+가, Rust라면 Kani 같은 모델 체커가 진입 장벽이 낮은 편이고요.

AI 코딩 에이전트를 쓰는 분이라면, “테스트 통과”든 “증명 통과”든 통과 조건 자체를 AI가 건드릴 수 없게 해두는 게 핵심이에요. 검증 기준을 쓰고 지키는 일은 여전히 사람 몫이에요.

마무리

한 줄 요약: 증명은 “명세대로 만들었다”를 보장할 뿐, “명세가 옳다”는 보장하지 않아요. 여러분은 AI가 써온 코드에 증명이 딸려 있다면 리뷰 없이 머지할 수 있을까요? 아니면 명세를 읽는 일이 새로운 코드 리뷰가 될까요?


🔗 출처: Hacker News

SOURCE · HACKER NEWS
원문 전체 보기 → https://alperenkeles.com/posts/formal-verification-is-not-ve...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...