> 참고: 이 글은 Cosmos Institute 원문 전문을 직접 읽지 못한 채, 제목이 던지는 주장을 출발점으로 삼아 공개된 사례를 엮어 쓴 글이에요. 원문의 실제 논증은 원문에서 꼭 확인해 주세요.
답이 맞는 것과 아는 것은 같을까요
검증은 지식이 아니다, 과학에는 답 이상의 것이 필요하다. Cosmos Institute 블로그에 실린 글의 제목인데요, 지금 시대에 딱 맞는 질문이에요. 요즘 AI는 수학 문제를 풀고, 단백질 구조를 맞히고, 테스트를 통과하는 코드를 써내요. 결과는 기계로 확인할 수 있고요. 그런데 확인이 끝났다고 우리가 그걸 이해했다고 말할 수 있을까요?
철학자들만의 고민이 아니에요. AI가 쓴 코드가 CI를 통과했는데 왜 동작하는지는 아무도 설명 못 하는 상황, 이미 많은 팀이 겪고 있거든요.
왜 지금 이 구분이 중요해졌을까요
요즘 AI 발전을 밀어붙이는 힘 중 하나가 바로 검증 가능성이에요. 수학 증명이나 코드처럼 정답 여부를 자동으로 채점할 수 있는 문제는 모델을 훈련시키기 좋아요. 이걸 검증 가능한 보상을 쓰는 강화학습(RLVR)이라고 하는데, 쉽게 말해 채점기가 달린 문제집을 끝없이 풀게 하는 방식이에요. 구글 딥마인드의 AlphaProof가 Lean과 결합해 국제수학올림피아드 문제를 풀어낸 것도 이런 흐름 위에 있어요. Lean은 증명의 모든 단계가 논리적으로 맞는지 컴퓨터가 확인해주는 언어예요.
문제는 채점기가 확인해주는 게 딱 채점 기준까지라는 거예요. 증명이 맞다는 건 알려주지만, 왜 그 증명이 성립하는지, 다른 문제에 어떤 통찰을 주는지는 말해주지 않아요.
이 고민은 사실 오래됐어요. 1976년 4색 정리는 컴퓨터로 수많은 경우를 확인해 증명됐는데, 사람이 전부 따라갈 수 없는 증명을 증명으로 인정할 수 있느냐는 논쟁을 낳았어요. 케플러 추측의 증명도 심사위원들이 완전히 확신하지 못해서 결국 형식 검증 프로젝트로 이어졌고요.
AlphaFold도 좋은 예예요. 단백질 구조 예측에 혁명을 일으켜 2024년 노벨 화학상으로 이어졌지만, 단백질이 어떤 과정을 거쳐 접히는지까지 설명해주는 건 아니에요. 지도는 얻었는데 왜 길이 그렇게 났는지는 별도의 질문인 거죠. 물론 지도만으로도 엄청나게 쓸모가 있어요. 그러니 이건 AI의 성과를 깎아내리는 이야기가 아니라, 어떤 종류의 성과인지 구분하자는 이야기예요.
개발자에게는 이미 현실이에요
소프트웨어로 옮겨오면 더 와닿아요. 다익스트라는 테스트가 버그의 존재를 보여줄 수는 있어도 버그가 없음을 증명하지는 못한다고 했어요. 피터 나우르는 1985년 논문 Programming as Theory Building에서 프로그램의 진짜 자산은 코드가 아니라 개발자들 머릿속의 이론이라고 주장했고요. 왜 이렇게 설계했고, 어디를 바꾸면 뭐가 깨지는지에 대한 이해 말이에요.
AI 코딩은 이 이론을 쌓지 않고도 동작하는 코드를 얻게 해줘요. 테스트까지 같은 AI가 써주면 문제는 더 미묘해져요. 같은 오해가 코드와 테스트 양쪽에 들어가면 전부 초록불이 켜지거든요. 모델이 테스트 통과에만 최적화해서 편법을 쓰는 보상 해킹 사례도 보고돼 왔어요. 측정 지표가 목표가 되면 더는 좋은 지표가 아니게 된다는 굿하트의 법칙이 코드에서도 일어나는 셈이에요.
그래서 뭘 해볼까요
당장 팀에서 시도해볼 수 있는 습관들이에요.
- PR에 왜를 남기기: 무엇을 바꿨는지는 diff에 있어요. 왜 이 방식을 택했고 뭘 포기했는지를 적어두세요.
- 머지 전에 말로 설명해보기: AI가 짠 코드를 동료에게 설명하지 못한다면 아직 우리 코드가 아니에요.
- 테스트를 테스트하기: 뮤테이션 테스트는 코드를 일부러 망가뜨려서 테스트가 잡아내는지 확인하는 기법이에요. 자바의 PIT, 자바스크립트 등을 지원하는 Stryker가 대표적이에요.
- 의사결정 기록 남기기: ADR(아키텍처 결정 기록)은 나중에 합류한 동료와 AI 도구 모두에게 좋은 맥락이 돼요.
마무리
한 줄로 정리하면, 검증은 답이 맞다는 걸 알려줄 뿐이고, 왜 맞는지 이해하는 일은 여전히 사람의 몫이에요.
여러분 팀은 AI가 쓴 코드를 어디까지 이해해야 머지해도 된다고 보나요? 이해 없이 통과시킨 코드 때문에 나중에 고생한 경험이 있다면 들려주세요.
🔗 출처: Hacker News