앤트로픽이 자사 모델 '클로드 미토스 프리뷰(Claude Mythos Preview)'를 활용해 두 가지 암호 알고리즘의 취약점을 발견했다고 밝혔다. 하나는 양자내성 전자서명 후보인 HAWK에 대한 공격을 크게 개선한 것이고, 다른 하나는 라운드를 줄인 AES 변형에 대한 새로운 공격 기법이다. 두 결과 모두 현재 운영 중인 실제 시스템에 직접적인 영향을 주지는 않는다. HAWK는 아직 표준으로 채택되지 않은 후보 방식이고, AES 공격은 10라운드 전체가 아닌 7라운드로 축소된 변형을 대상으로 하기 때문이다. 그럼에도 이 발표가 주목받는 이유는, AI가 코드 구현의 실수가 아니라 알고리즘의 수학적 구조 자체에서 결함을 찾아냈다는 점에 있다.
지금까지 AI가 암호 라이브러리에서 찾아낸 문제들은 대부분 프로그래머가 알고리즘을 잘못 구현해 생긴 오류였다. 웹 브라우저가 사이트의 진위를 확인하는 전자서명, 이후 통신을 보호하는 대칭키 암호처럼 암호 알고리즘은 이메일과 인터넷 뱅킹 등 일상적 디지털 활동의 근간을 이룬다. 널리 쓰이는 알고리즘에 결함이 있다면 수십억 사용자의 데이터가 위험에 노출될 수 있다. 이번 성과의 차별점은 구현 단계가 아니라 설계된 수학 문제 자체를 겨냥했다는 데 있다.
HAWK 공격: 사실상 키 강도를 절반으로
HAWK는 미국 국립표준기술연구소(NIST)가 2022년 추가 공모한 양자내성 전자서명(PQC) 3라운드 후보 중 하나로, 격자 동형 문제(Lattice Isomorphism Problem)의 난해함에 안전성을 기댄다. 2년에 걸쳐 두 차례 전문가 검토를 통과한 방식이지만, 미토스는 약 60시간 만에 기존 최고 공격 기록을 개선했다. 핵심은 HAWK가 사용하는 격자에서 지금까지 활용되지 않았던 대칭성, 즉 '비자명 자기동형(nontrivial automorphism)'을 찾아낸 것이다. 선행 연구는 이런 자기동형을 효율적으로 찾으면 공격이 가능하다는 점은 증명했지만, HAWK의 격자에 실제로 그런 구조가 존재하는지는 답하지 못한 상태였다.
그 결과 예컨대 HAWK-256에 대한 전체 키 복구 공격 비용은 기존에 2^64 수준으로 여겨졌으나 2^38 수준으로 낮아졌다. 공격은 여전히 지수 시간에 머물러 큰 키에 대해서는 실질적 위협이 되지 않지만, 같은 안전 수준을 유지하려면 키 크기를 두 배로 늘려야 한다는 의미다. 문제는 키를 두 배로 키우면 HAWK를 매력적인 후보로 만들었던 장점 상당수가 사라진다는 점이다. 이 공격은 HAWK에 국한되며 다른 격자 기반 암호나 여타 NIST 후보에는 영향을 미치지 않는다.
7라운드 AES와 '뫼비우스 브리지'
두 번째 결과는 2001년 표준으로 채택된 AES를 겨냥한다. AES-128은 동일한 라운드 함수를 열 번 반복하는데, 이번 공격은 그중 7라운드로 축소된 변형만을 대상으로 한다. 연구자들이 라운드 축소판을 연구하는 이유는, 단순화된 문제에서 얻은 통찰이 훗날 전체 암호에 대한 공격이나 안전성 추정으로 이어질 수 있기 때문이다. 공격은 공격자가 고정된 미지의 키로 임의 입력을 암호화하도록 요청하고 그 출력을 관찰하는 선택 평문 모델을 가정하며, 선행 연구는 2^105개의 선택 평문을 전제로 한다. 그 자체로는 전혀 실용적이지 않지만 이론적 안전성을 정량화하는 지표가 된다.
미토스는 '중간 일치(meet-in-the-middle)' 공격 계열을 개선했다. 이 기법은 중간 계산 결과를 큰 조회 테이블에 저장해 두고 재사용함으로써 시간을 공간과 맞바꾼다. 미토스가 스스로 '뫼비우스 브리지(Möbius Bridge)'라 이름 붙인 정교한 지문(fingerprinting) 알고리즘은 테이블 조회 성공률을 높였고, 기존 공격에서 2^56개의 값을 일일이 열거해야 했던 추측 단계 하나를 제거했다. 그 결과 이전 최고 공격 대비 속도가 200~800배 빨라졌다.
도구로서의 AI, 그리고 남는 질문
HAWK 공격은 이론컴퓨터과학 배경은 있으나 격자 암호 전문가는 아닌 연구자가 미토스와 협업해 만들었고, 여러 워커 에이전트가 파이썬·Sage 같은 계산 도구와 논문에 접근하며 대부분 자율적으로 작업했다. 특히 핵심 아이디어는 두 에이전트가 주고받는 과정에서 나왔다. 한 워커가 성급히 불가능하다고 판단한 아이디어를 다른 워커가 끝까지 파고들어 공격으로 완성한 것이다. AES 공격은 별도 연구자가 만든 스캐폴드를 통해 사실상 완전 자율로 발견됐다. 각 결과의 개발에는 API 비용 기준 약 10만 달러가 들었다.
실무자 입장에서 이번 발표의 의미는 이중적이다. 당장 교체해야 할 운영 소프트웨어는 없지만, 표준화 과정에 있는 알고리즘을 AI로 사전 검증하는 것이 현실적 선택지가 됐다는 신호다. NIST 표준화 과정에서 SIKE가 노트북으로 한 시간 만에 완전히 깨진 전례처럼, 후반부의 치명적 발견은 드물지 않다. 앤트로픽은 책임 있는 공개 절차를 따라 6월 HAWK 설계자들과 NIST 메일링 리스트에 결과를 공유했고, ETH 취리히·텔아비브대·하이파대와 함께 LLM의 암호 해독 능력을 평가하는 벤치마크 'CryptanalysisBench'를 공개했다. 다만 이 결과들이 축소판·후보군에 국한된 성과이며 완전한 암호 체계를 무너뜨린 것은 아니라는 한계는 분명히 기억해 둘 필요가 있다.