512비트 RSA의 최후: 90년대 인증기관 키를 데스크톱으로 깨다

RSA 암호는 큰 반소수(두 소수의 곱)를 인수분해하기 어렵다는 전제 위에 서 있다. 문제는 '크다'의 기준이 시대에 따라 달라진다는 점이다. Web PKI는 이미 10여 년 전에 1024비트 RSA를 폐기했고, 오늘날 세계는 최소 2048비트를 쓰지만 이마저도 미래의 양자컴퓨터 위협 때문에 머지않아 폐기될 운명이다. 최근에는 862비트 규모인 RSA-260(RSA 인수분해 챌린지의 과제)이 인수분해되면서 공개적으로 확인된 최대 기록을 새로 썼다. 이런 흐름 속에서 한 연구자가 던진 질문은 단순하면서도 도발적이었다. 웹 초창기에 발급된, 지금 기준으로는 우스울 만큼 작은 키가 아직 어딘가에 남아 있지 않을까.

수출 규제 시대의 흔적을 찾아서

넷스케이프는 1994년 SSL을 탑재했고 인터넷 익스플로러가 곧 뒤를 이었다. 당시는 암호 기술에 대한 수출 규제가 살아 있던 시기였고, Web PKI에는 표준도 최소 요구사항도 없었다. 루트 인증서는 브라우저 설치 파일에 함께 담겨 배포됐기 때문에, archive.org에 남아 있는 옛 IE와 넷스케이프 설치본 아카이브가 사실상 과거 루트 CA의 저장고 역할을 한다. 저자는 두 컬렉션을 내려받아 Claude Code로 루트 인증서를 추출하고, 그 결과를 필터로 걸러볼 수 있는 웹페이지로 정리했다. 다만 그는 이 LLM 산출물을 완전히 검증하지는 않았고 '그럴듯해 보인다'고만 밝혔다. 실무자라면 자동 추출 결과를 근거로 삼을 때 이런 검증 공백을 반드시 염두에 둬야 한다.

필터를 걸자 표적이 드러났다. 1999년 3월 넷스케이프 4.51에는 SSL용과 S/MIME용으로 각각 512비트 RSA 인증기관이 실려 있었다. 두 루트 모두 지금은 사라진 캐나다 인증기관 E-Certify의 것이었다. 공교롭게도 같은 해 후반에 512비트 규모의 RSA-155가 인수분해됐다. 즉 이 키들은 배포되던 그 시점에 이미 안전 기준에 미달했고, 애초에 실리지 말았어야 할 물건이었다는 뜻이다. 넷스케이프는 2002년 이 512비트 루트들을 제거했다. IE는 SSL용 512비트 루트를 배포한 적이 없어, 이번 실험의 무대는 비교적 짧은 기간의 넷스케이프로 한정됐다.

32시간이면 개인 데스크톱으로 충분했다

루트 인증서의 공개키를 인수분해하면 두 소수를 얻고, 이로써 개인키를 그대로 복원할 수 있다. 저자는 Ryzen 9 5950X 데스크톱에서 CADO-NFS를 돌렸고, SSL용 'E-Certify RSA 512 Gold Server'는 32시간, S/MIME용 'Gold Client'는 29시간 만에 인수분해됐다. 국가급 자원이 아니라 흔한 고사양 개인용 PC로 하룻밤 남짓이면 25년 전 인증기관의 신원을 그대로 손에 쥘 수 있다는 얘기다. 보너스로 IE 3.02에 실려 있던 코드 서명용 CA 'OU=Test VeriSign Commercial Software Publisher CA'도 똑같이 손쉽게 인수분해됐고, Steve Weis는 GPU 클러스터로 이 키를 약 한 시간 만에 깨뜨렸다.

복원한 개인키로 인증서를 발급하려면 넷스케이프 4.51을 띄우고, E-Certify 루트가 만료된 2003년 10월 16일 이전으로 시스템 시계를 되돌려야 한다. 저자의 표현대로 그런 환경을 갖춘 사람은 지구상에 사실상 존재하지 않으며, 그가 세팅한 가상머신이 예외일 뿐이다. 발급한 인증서가 실제로 동작하는지 확인하는 일 자체가 하나의 모험이었는데, 넷스케이프 4.51과 현대 TLS 스택 사이에는 겹치는 기능이 전혀 없었기 때문이다. 결국 Claude Code로 옛 방식의 TLS 서버를 Go로 새로 만들어 e-certify.fly.dev에 공개했고, 이 사이트는 어떤 현대 브라우저에서도 열리지 않는다. 관련 키와 도구는 ancientroots 저장소에 모두 공개돼 있다.

실무자가 읽어야 할 지점

이 실험의 실질적 위험은 크지 않다. 문제의 루트는 이미 신뢰 저장소에서 빠졌고, 만료됐으며, 이를 악용하려면 25년 전으로 시계를 돌린 넷스케이프 4.51 사용자를 상대해야 한다. 그런 표적은 현실에 없다. 그럼에도 이 이야기가 남기는 교훈은 분명하다. 암호의 안전성은 발급 시점의 기준이 아니라 시간이 흐른 뒤의 계산력으로 재평가된다는 것, 그리고 표준과 최소 요구사항이 부재했던 초기 생태계가 어떤 유산을 남겼는지다. 512비트가 이제 개인 PC 앞에서 무력하듯, 오늘의 2048비트도 양자컴퓨터라는 미래의 계산력 앞에서 같은 운명을 걱정해야 한다. 지금 발급하는 인증서의 유효기간과 암호 알고리즘을 정할 때, 폐기 계획과 마이그레이션 경로를 함께 설계해 두는 태도가 필요한 이유다. 덧붙여 이번 작업 상당 부분이 LLM 도구로 이뤄졌다는 점은, 과거 암호 유물을 발굴하고 분석하는 문턱이 그만큼 낮아졌음을 시사한다.