DVD의 콘텐츠 보호는 어떻게 무너졌나: CSS 암호화의 구조와 취약점 분석

디지털 저작권 보호의 초기 역사를 들여다보다

오늘날 넷플릭스나 디즈니+ 같은 스트리밍 서비스의 DRM(Digital Rights Management)은 매우 정교한 수준으로 발전해 있습니다. 하지만 디지털 콘텐츠 보호의 역사를 거슬러 올라가면, 1996년에 설계된 DVD의 CSS(Content Scramble System)라는 암호화 체계가 있습니다. UCSD의 암호학 관련 프로젝트에서 이 CSS의 내부 구조를 상세히 분석한 자료가 공개되어 있는데, 암호 시스템 설계에서 '하지 말아야 할 것'의 교과서적 사례로서 오늘날에도 교훈을 줍니다.

CSS는 어떻게 동작하는가

CSS의 핵심은 DVD 디스크에 저장된 영상 데이터를 암호화하고, 인증된 DVD 플레이어만이 이를 복호화할 수 있게 하는 것입니다. 이를 위해 여러 단계의 키 교환과 인증 메커니즘이 사용됩니다.

먼저 인증 단계가 있습니다. DVD 드라이브와 재생 소프트웨어(또는 하드웨어 플레이어)는 서로의 정당성을 확인하는 상호 인증(mutual authentication) 과정을 거칩니다. 이 과정에서 챌린지-리스폰스 프로토콜이 사용되는데, 양쪽이 랜덤 값을 교환하고 공유 비밀 키를 이용해 서로를 검증하는 방식입니다.

인증이 완료되면 버스 키(Bus Key)가 생성됩니다. 이 키는 DVD 드라이브에서 호스트 컴퓨터로 데이터가 전송되는 동안 중간에 가로채는 것을 방지하기 위한 것입니다. 즉, 물리적인 데이터 경로 자체도 암호화하겠다는 의도입니다.

실제 콘텐츠 복호화에는 디스크 키(Disk Key)와 타이틀 키(Title Key)라는 두 단계의 키가 사용됩니다. DVD 디스크에는 암호화된 디스크 키가 저장되어 있고, 이를 복호화하려면 플레이어에 내장된 플레이어 키(Player Key) 중 하나가 필요합니다. 디스크 키를 얻으면 이를 이용해 각 타이틀(영화 등)의 타이틀 키를 복호화하고, 최종적으로 타이틀 키로 실제 영상 데이터를 복호화합니다.

어디서 무너졌는가: 40비트 키의 치명적 약점

CSS가 사용하는 스트림 암호의 키 길이는 겨우 40비트입니다. 이것이 CSS 보안의 가장 근본적인 문제였습니다. 왜 40비트였을까요? 1990년대 미국의 수출 규제(Export Control) 때문이었습니다. 당시 미국 정부는 40비트를 초과하는 암호화 기술의 수출을 엄격히 제한했고, CSS는 전 세계에서 사용되는 DVD 표준이었기 때문에 이 규제를 따라야 했습니다.

40비트 키가 얼마나 약한지 감을 잡아보면, 가능한 키의 경우의 수는 2^40, 즉 약 1조 개입니다. 1999년 기준으로도 일반 PC에서 무차별 대입(brute force) 공격으로 수 시간 내에 모든 키를 시도해볼 수 있었습니다. 오늘날의 컴퓨팅 파워로는 수 초 이내에 가능합니다.

하지만 실제로는 무차별 대입조차 필요하지 않았습니다. CSS에 사용된 LFSR(Linear Feedback Shift Register) 기반 스트림 암호 자체에 구조적 취약점이 있었기 때문입니다. CSS는 17비트 LFSR과 25비트 LFSR 두 개를 조합하여 사용하는데, 이 두 레지스터가 독립적으로 공격 가능하다는 점이 발견되었습니다. 이를 이용하면 2^17 + 2^25, 즉 약 3,400만 번의 연산만으로 키를 복구할 수 있었습니다. 2^40에 비하면 약 3만 배나 빠른 셈입니다.

DeCSS와 그 파장

1999년, 노르웨이의 15세 소년 Jon Lech Johansen(일명 DVD Jon)이 CSS를 우회하는 프로그램 DeCSS를 공개하면서 상황은 급변했습니다. DeCSS는 CSS의 구조적 취약점을 이용하여 DVD 콘텐츠를 복호화할 수 있었고, 소스 코드가 인터넷에 퍼져나갔습니다. 이후 미국의 DMCA(Digital Millennium Copyright Act)를 둘러싼 법적 공방이 벌어졌고, 이는 암호학과 표현의 자유가 교차하는 역사적인 사건이 되었습니다.

흥미로운 점은, 코드 자체가 표현의 자유로 보호받아야 하는지에 대한 논쟁이 촉발되었다는 것입니다. DeCSS의 소스 코드는 시, 그림, 심지어 소수(prime number) 등 다양한 형태로 변환되어 배포되었는데, 이는 "코드는 언어이고 따라서 표현의 자유에 해당한다"는 주장을 상징적으로 보여주기 위함이었습니다.

현대 DRM과의 비교

오늘날의 DRM 시스템, 예를 들어 Google의 Widevine이나 Apple의 FairPlay는 CSS와는 비교할 수 없을 정도로 복잡합니다. AES-128 이상의 강력한 암호화를 사용하고, 하드웨어 수준의 신뢰 실행 환경(TEE)에서 복호화가 이루어지며, 서버와의 실시간 라이선스 교환을 통해 오프라인 복사를 방지합니다.

하지만 CSS의 실패에서 얻을 수 있는 교훈은 여전히 유효합니다. 첫째, 규제에 의해 암호화 강도가 제한되면 보안은 근본적으로 타협됩니다. 둘째, 자체 개발 암호 알고리즘은 거의 항상 문제를 일으킵니다. CSS의 LFSR 기반 암호는 표준화된 검증을 거치지 않은 독자 설계였습니다. 셋째, 보안은 시스템에서 가장 약한 고리에 의해 결정됩니다. CSS는 수백 개의 DVD 플레이어 제조사에 키를 배포해야 했고, 그 중 하나에서 키가 유출되면 전체 시스템이 무너지는 구조였습니다.