구글 딥마인드가 메신저 앱 시그널(Signal)이 사용하는 암호 프로토콜의 실제 코드에 대해, 핵심 보안 속성을 수학적으로 증명하는 데 성공했다고 밝혔다. 시그널 프로토콜은 시그널 앱과 구글 메시지 등에서 수십억 건의 사적 대화를 보호하는 기술이다. 딥마인드는 이번 성과가 널리 배포된 암호 프로토콜을 이 정도 깊이에서 AI로 정식 검증(formal verification)한 첫 사례이자, AI 사용 여부와 무관하게 이런 규모의 프로토콜 구현이 정식 검증된 첫 사례라고 설명했다.
정식 검증은 코드가 결함 없이 올바르게 동작함을 수학적으로 증명하는 기법으로, 보안 보증의 최고 수준으로 꼽힌다. 그러나 작업량이 많고 난도가 높아 실무에 널리 적용되기 어려웠다. 특히 지금까지의 프로토콜 검증 대부분은 '설계 수준'에 머물렀다. 즉 프로토콜을 추상적으로 기술한 명세가 안전한지는 따졌지만, 그 설계가 실제 기기에서 돌아가는 컴파일된 코드로 올바르게 구현됐는지는 검증 범위 밖이었다. 현실의 취약점은 바로 이 설계와 구현 사이의 틈에서 숨어 발생하는 경우가 많다.
사람과 AI가 역할을 나눈 검증 방식
딥마인드가 사용한 도구는 '알파프루프 코드(AlphaProof Code)'라는 다중 LLM 기반 에이전트 프레임워크다. 이 프레임워크는 검증 작업을 연구팀이 분업하듯 나눈다. 먼저 사람 전문가가 여러 모델과 협업해 시그널의 보안 목표를 수학적 명세로 번역하고, 모든 명세를 사람이 직접 검토했다. 이후 제미나이 카본(Gemini Carbon)으로 구동되는 에이전트들이 증명을 수행해, 코드의 정확성을 수학적으로 증명하는 언어인 린(Lean)으로 600만 줄이 넘는 증명을 생성했다. 최종적으로 기계가 검증한 증명은 300만 줄 이상에 달했으며, 이는 명령어 수준까지 내려간 검증이었다.
주목할 만한 점은 사람의 개입을 집중시킨 방식이다. 에이전트들은 스스로 증명을 감사해 사람이 다시 봐야 할 부분을 표시했는데, 그 분량은 전체 코드베이스의 1퍼센트에 불과했다. 나머지는 린이 자동으로 검증하므로, 전문가는 사람의 판단이 가장 중요한 지점에만 집중할 수 있었다. 그 결과 전통적으로 전문가 팀이 수년을 들여야 했던 작업이 단 4주 만에 마무리됐다.
검증의 깊이와 신뢰성
이번 검증이 다룬 보안 속성에는 기기가 일시적으로 탈취된 이후에도 그 전후의 메시지가 보호되는지 여부가 포함된다. 에이전트들은 설계가 아니라 컴파일된 코드가 이런 속성을 실제로 충족하는지를, 기기에서 돌아가는 정확한 코드 수준까지 증명했다. 암호 프로토콜은 온라인 뱅킹부터 웹 브라우징까지 거의 모든 디지털 통신의 토대이며, 단 하나의 결함이 수백만 명을 한꺼번에 노출시킬 수 있기에 이런 깊이의 검증은 의미가 크다.
시스템이 정상 코드와 결함 코드를 실제로 구분하는지도 확인했다. 연구진은 과거에 발견돼 수정됐던 실제 버그 두 개를 격리된 버전의 시그널 코드에 다시 심었고, 두 경우 모두 알파프루프 코드가 해당 버전이 안전하지 않다는 기계 검증 증명을 산출했다. 이는 검증 도구가 '증명에 성공하지 못함'을 단순히 넘기지 않고, 결함의 존재 자체를 포착한다는 점을 보여준다.
시그널의 최고기술책임자 에런 크렛(Ehren Kret)은 기존 정식 검증이 코드의 작은 부분에 집중할 수밖에 없었던 반면 딥마인드의 접근은 범위를 크게 확장한다고 평가했다. 그는 살아 있는 코드를 유효한 린 정리로 번역하는 데 AI 에이전트를 활용한 점을 주요한 돌파구로 꼽으며, AI 기반 보안 위협이 커지는 상황에서 시그널 프로토콜 구현을 엄밀하게 검증한 것이 코드의 프라이버시 보장에 대한 확신을 높여준다고 덧붙였다.
실무적 의미와 남은 과제
한국의 IT 실무자 관점에서 이 성과의 핵심은 '설계 검증에서 구현 검증으로' 넘어가는 문턱이 낮아질 가능성이다. 지금까지 양산 코드가 암호 설계와 엄격히 일치하는지 확인하려면 방대한 수작업이 필요했는데, 코드를 자동으로 정리(theorem)로 번역하는 에이전트가 그 병목을 줄여줄 수 있다. 딥마인드는 의료기기 펌웨어나 전력망 소프트웨어 같은 다른 핵심 시스템으로의 확장 가능성을 언급했고, 검증 산출물을 커뮤니티가 쓸 수 있도록 오픈소스로 공개한다고 밝혔다.
다만 과도한 기대는 경계할 필요가 있다. 딥마인드 스스로 이 기법을 확장하려면 지속적인 연구가 필요하다고 밝혔고, 검증 대상은 시그널 프로토콜의 '핵심 암호' 부분이다. 명세를 사람이 전부 검토했다는 점은 신뢰의 근거인 동시에, 명세 자체가 보안 목표를 제대로 담지 못하면 증명도 그만큼만 유효하다는 한계를 뜻한다. 그럼에도 구현 수준의 기계 검증을 4주 규모로 끌어내렸다는 사실은, 정식 검증이 소수 전문가의 영역을 넘어 보다 넓은 시스템 보안으로 확산될 실마리를 보여준다.