TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 82 READS

인증서 공개키에 메시지를 숨긴다: RSA 모듈러스를 둘러싼 '항의형 인증서' 실험

HTTPS가 웹의 기본값이 된 지 오래지만, 인증서를 운영해 본 실무자라면 그 뒷면의 번거로움을 잘 안다. 공개 웹사이트 하나를 올리려면 ACME라 불리는 복잡한 발급 절차를 거쳐야 하고, 인증서는 몇 달마다 만료되기 때문에 한 번 설정하고 끝낼 수 있는 일이 아니다. 자동화를 해 두더라도 ACME 클라이언트가 DNS 레코드나 웹 서버에 계속 접근할 수 있도록 관리가 필요하다. 한 개발자가 공개한 'badcert' 실험은 바로 이 체계에 대한 불만에서 출발한다. 그는 TLS 체계 자체를 거부하기보다, 정상적으로 신뢰받는 인증서를 발급받되 그 안에 농담 섞인 메시지를 숨기는 '항의형 인증서'를 만들었다.

발상의 핵심은 인증서에서 발급자가 아니라 신청자가 직접 통제할 수 있는 부분이 어디인가에 있다. RSA 공개키는 모듈러스(n)와 공개 지수(e)로 구성된다. e는 보통 65537(0x10001)로 고정되는데, 비트가 적어 암호화 연산이 빠르기 때문이고, 글쓴이가 사용한 인증기관(CA)은 비표준 공개 지수를 가진 키의 서명을 거부했다. 결국 손댈 수 있는 자리는 2,048비트 혹은 4,096비트에 이르는 모듈러스 n뿐이다. 바로 이 n의 바이트를 조작해, Base64로 표시했을 때 사람이 읽을 수 있는 문자열이 드러나도록 만드는 것이 이 실험의 골자다.

소수를 다시 맞추는 방법

문제는 RSA에서 n이 임의의 숫자가 아니라 두 큰 소수 p와 q의 곱이어야 한다는 점이다. 바이트를 마음대로 바꾸면 그 값은 더 이상 어떤 두 소수의 곱이 아니게 된다. 글쓴이가 택한 방법은 이렇다. 먼저 무작위로 두 소수를 골라 n을 계산하고, 그 n의 바이트를 수정해 원하는 메시지를 심는다. 그 다음 p는 그대로 두고 q를 n/p로 다시 정의한다. 이렇게 나온 q는 대개 정수도 소수도 아니므로, 값을 반올림한 뒤 그 바로 다음 소수를 찾는다. 이때 q는 보통 수백 단위만 움직이면 된다.

여기서 중요한 성질이 등장한다. p와 q의 크기가 비슷하기 때문에, q를 조금 바꾸면 그 곱의 하위 절반 비트만 영향을 받는다. 따라서 메시지를 모듈러스의 상위 절반에 심어 두면, q를 소수로 맞추는 과정에서도 메시지는 손상되지 않고 살아남는다. 원래의 p와 새로 고른 q로 통상적인 방식의 RSA 개인키를 구성하면, 그 뒤부터는 평범하게 CA에 CSR을 제출해 서명을 받으면 된다. 결과물은 신뢰받는 정상 인증서이면서 공개키 안에 긴 메시지가 숨어 있는 인증서다. 갱신은 CSR을 다시 제출하고 ACME 챌린지를 반복하면 되므로 자동화도 가능하다.

Base64는 대부분의 문장부호가 빠져 있지만 알파벳 전체를 쓸 수 있고, RSA-2048에서 약 150자, RSA-4096에서 약 320자 분량의 여유가 있어 농담을 넣기에 충분하다. 또 다른 선택지로는 브라우저 인증서 뷰어가 대개 보여주는 16진수 표기를 노리는 방법이 있는데, 바이트당 2자를 쓸 수 있어 공간은 훨씬 넉넉하지만 단어 선택에 더 신경을 써야 한다.

안전성은 어디까지 믿을 수 있나

이 방식은 당연히 개인키의 엔트로피를 줄인다. 다만 글쓴이는 거의 동일한 기법이 과거 키 압축의 한 형태로 검토된 적이 있다는 점을 든다. 모듈러스의 상위 절반을 잘 알려진 값으로 고정하면 그 부분은 키의 일부로 전송하거나 저장할 필요가 없어진다. 나눗셈을 이용하면 약 2분의 1을 줄일 수 있고, 최신 기법은 키의 3분의 2까지 고정해 표준 RSA의 3분의 1 크기로 줄이면서도 비슷한 보안 수준을 유지한다고 한다. 다만 이런 기교들은 작은 키를 직접 쓸 수 있는 다른 암호체계에 밀려 대체로 폐기됐다는 단서가 붙는다.

실무적으로 더 주의할 지점은 따로 있다. q를 조작하는 과정에서 p와 q가 지나치게 가까운 소수로 나올 수 있는데, 이 경우 n을 소인수분해해 개인키를 복원하는 것이 가능해진다. 개인 지수 d가 너무 작게 나오는 것도 문제가 된다. 두 경우 모두 확률은 낮지만, 글쓴이의 스크립트는 이런 취약한 값을 걸러내지 않는다고 스스로 밝히고 있다. 즉 이 코드는 흥미로운 개념 증명이지 운영 환경에 그대로 올릴 물건은 아니다.

그럼에도 글쓴이가 공개 웹사이트 용도로는 괜찮다고 보는 근거는 현대 TLS의 전방위 비밀성(forward secrecy)이다. 세션 키가 개인키와 분리돼 교환되므로, 설령 개인키가 노출되더라도 과거 트래픽을 수동적으로 엿듣는 것만으로는 복호화할 수 없고 중간자 공격이 필요하다. 수동적 도청을 막는 것이 애초의 목표였다면, 다소 약한 키라도 그 목적에는 부합한다는 논리다.

이 실험은 실제 제품 전략이라기보다 PKI 체계에 대한 일종의 풍자에 가깝다. 그러나 실무자 입장에서 건질 지점은 분명하다. 인증서에서 신청자가 통제하는 영역이 생각보다 좁다는 사실, CA가 공개 지수 같은 파라미터를 강제한다는 사실, 그리고 RSA 모듈러스의 비트 구조와 소수 근접성·작은 d 같은 고전적 취약 조건이 여전히 실제 위험이라는 점을 구체적인 사례로 다시 확인시켜 준다. 암호 파라미터를 직접 다루는 코드를 짤 때 안전한 값 검증을 건너뛰면 어떤 함정이 생기는지를, 농담 한 줄을 심는 과정이 역설적으로 또렷하게 보여준다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://maurycyz.com/projects/badcert/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...