NSA는 왜 TLS에서 '하이브리드 암호'를 걷어내려 하나

양자컴퓨터가 기존 공개키 암호를 무력화할 수 있다는 우려가 커지면서, 통신 표준에는 이른바 하이브리드 방식이 자리 잡았다. TLS의 키 교환에서 기존 타원곡선 암호(ECC)와 격자 기반 양자내성 알고리즘 ML-KEM을 동시에 사용해, 둘 중 하나가 깨지더라도 다른 하나가 통신을 지켜주도록 설계하는 것이다. 그런데 IETF에서는 이 하이브리드에서 ECC라는 '안전벨트'를 떼어내고 ML-KEM만 단독으로 쓰는 방식을 표준 문서(RFC)로 만들자는 제안이 진행 중이다. 암호학자 대니얼 번스타인(djb)은 자신의 블로그 'NSA and IETF' 연재에서 이 표준화 절차가 정상적인 합의가 아니라 미국 국가안보국(NSA)과 그 협력 벤더들의 조직적 개입으로 밀어붙여지고 있다고 주장한다.

표결에 드러난 반대의 규모

번스타인에 따르면 지난 6월 TLS 메일링 리스트의 표결 기간 동안 82명이 이 표준안에 명확한 반대 의사를 표명했다. 그 이전에 이미 반대를 등록한 사람들도 있었고, 일부 반대 메시지는 의장단에 의해 차단됐다는 제보도 있었다고 그는 전한다. 흥미로운 대목은 ML-KEM의 공동 설계자인 로베르토 아반치조차 "내가 설계한 알고리즘이지만 이것만 단독으로 쓰는 것은 신뢰하지 않겠다. 만약 양자컴퓨터가 아닌 고전적 계산 모델에서 수학적으로 깨진다면 어떻게 되겠나. 하이브리드가 더 낫고, ECC가 추가로 쓰는 시간은 무시할 만한 수준"이라고 밝혔다는 점이다. 반면 표준 지지 측 인사로는 이전까지 TLS 메일링 리스트에 글을 쓴 적이 없던 NSA 소속 마이크 젠킨스 등이 새로 등장해 찬성표를 던졌다고 한다. 번스타인은 82명 중 75명의 반대는 문서 수정으로 해소될 수 있는 성격이 전혀 아니라고 보고, 이들의 발언을 인용해 IETF의 운영기구인 IESG에 전달했다.

'대략적 합의'라는 규칙과 그 어긋남

이 논쟁의 핵심은 IETF 고유의 의사결정 원칙인 '러프 컨센서스(rough consensus)'다. IETF 규정은 이를 "신경 쓰는 사람들의 압도적 다수가 동의하고, 소수 의견도 설명할 기회를 얻어 그 논점이 다뤄진 상태"로 정의한다. 명시적으로 "51%는 러프 컨센서스가 아니"며, 이견은 "공개된 검토와 토론 과정을 통해 해소돼야" 한다고도 못박고 있다. 워킹그룹(WG) 의장이 합의가 있다고 판단해야만 문서가 IESG로 넘어가고, 그다음 IESG가 별도의 '라스트 콜'을 거쳐 RFC 발행 여부를 결정하는 구조다. 번스타인의 계산으로는 NSA 측의 표 동원 이후에도 지지 측은 발언자의 절반에도 미치지 못했고, 반대 측의 가장 중요한 논점도 답변되지 않은 채 남아 있다. 규칙대로라면 의장단은 "합의가 없다"고 선언하고 문서를 반려했어야 한다는 것이다.

의장단은 그러나 합의가 있다고 선언했고, 그 근거는 시점마다 달라졌다고 번스타인은 지적한다. 처음에는 "기존 WG 참가자나 전문성이 입증된 사람들 기준으로 약 10명 중 7명이 문서 진행에 찬성한다"고 했다가, 이어 "직전 최종 검토 이전부터 TLS에 참여한 사람들"로 대상을 좁혔고, 다시 "합의는 단순 집계가 아니라 기술적 논거의 질로 판단한다"며 말을 바꿨다는 것이다. 그는 이것이 "참여는 모든 이해관계자에게 무료로 열려 있다"는 IETF의 공언, 그리고 새 참가자를 배제할 권한이 의장에게 없다는 점과 충돌한다고 본다. 더욱이 의장단은 애초 표결을 소집할 때 "지지 여부만 밝히고 추가 토론은 자제하라"고 요구해놓고, 나중에는 "합의 소집은 투표가 아니었으며 기술 논거를 제출했어야 했다"고 소급 주장했다는 점도 모순으로 짚는다.

자금 흐름과 이해충돌

번스타인이 글의 후반부를 상당 부분 할애하는 것은 결정권자들의 이해관계다. 그는 "사람은 대체로 돈을 받는 대로 행동한다"며 IESG와 상급 기구인 IAB의 구성원 상당수가 국방 관련 계약과 얽혀 있다고 열거한다. SEI는 국방부가 후원하는 연방출연연구개발센터(FFRDC)이고, 아카마이는 국방정보시스템국에 콘텐츠 전송 서비스를 단독 공급하며, 클라우드플레어와 노키아는 미사일방어청의 총액 상한 1,510억 달러 규모 SHIELD 계약에 참여를 발표했다는 식이다. 14명의 IESG 위원 중 9명을 이런 배경으로 지목하고, 2024년 은퇴 후 IESG에 합류한 뎁 쿨리의 경우 이해충돌 신고서에 NSA를 기재했다가 은퇴로 충돌이 사라졌다고 주장을 바꿨다며 '회전문' 문제를 제기한다. 다만 이 부분은 소속과 계약 관계를 근거로 한 정황적 추론이라는 점은 독자가 감안할 필요가 있다.

의장단은 지난 7월 28일 문서를 IESG로 넘겼고, IESG는 30일 라스트 콜을 개시했다. 번스타인은 IESG가 반려하지 않을 경우 WG 의장 결정과 IESG 결정 각각에 대해 IAB까지 가는 이의제기 절차가 있지만, IAB 역시 국방 계약 기업 소속이 다수라고 본다. 최종적으로는 모기구인 인터넷소사이어티(ISOC) 이사회에 절차의 부당함을 호소할 수 있어 그는 2025년 12월 이미 이의를 제기했으나, 배정될 담당자가 이 표준안에 세 번 찬성표를 던진 러스 하우슬리일 수 있다고 냉소한다. 국제투명성기구의 내부고발 처리 가이드와 달리 IETF에는 이의제기 처리에 관한 절차적 제약이 없고, 절차가 끝나기 전에 RFC가 먼저 발행될 가능성도 있다고 그는 우려한다.

한국 실무자에게 남는 함의

이 글은 한쪽 당사자의 주장이라는 점을 분명히 전제해야 한다. 지지 측의 기술적 반론이 균형 있게 담겨 있지 않고, 토마스 프타첵이 "암호에 밝을수록 하이브리드를 우습게 여긴다"고 한 반대 취지의 발언 정도만 짧게 인용된다. 그럼에도 국내에서 양자내성 암호(PQC) 전환을 준비하는 실무자에게는 곱씹을 지점이 있다. 첫째, ML-KEM 단독이냐 ECC 하이브리드냐는 순수한 성능·상호운용성 문제가 아니라 표준을 만드는 기구의 거버넌스와 이해관계가 얽힌 정치적 사안이라는 점이다. 둘째, 아반치의 발언처럼 격자 기반 알고리즘이 양자가 아닌 고전적 방법으로 깨질 가능성을 배제할 수 없는 이상, 당분간 하이브리드를 기본값으로 두는 보수적 설계가 방어적으로 합리적이다. 셋째, RFC가 나오더라도 그것이 곧바로 '커뮤니티의 합의'를 뜻하지는 않을 수 있으므로, 표준을 그대로 채택하기보다 IANA 레지스트리의 권고 상태와 논의 경과를 함께 확인하는 편이 안전하다. 표준화 과정 자체를 위협 모델의 일부로 바라보는 시야가 필요한 국면이다.