TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 52 READS

RAR 파일 속 숨은 가상머신 'RarVM': 압축 포맷이 코드를 실행할 때

RAR 파일 속 숨은 가상머신 'RarVM': 압축 포맷이 코드를 실행할 때
SOURCE IMAGE · HACKER NEWS

압축 파일은 흔히 데이터를 담는 수동적인 그릇으로 여겨진다. 그러나 RAR 포맷에는 많은 사람이 모르는 기능이 숨어 있다. RAR 아카이브 안에는 'RarVM'이라 불리는 단순한 x86 계열 가상머신의 바이트코드가 포함될 수 있고, 이 코드는 사용자가 압축을 해제할 때 자동으로 실행된다. 즉 파일을 여는 행위 자체가 아카이브 제작자가 심어 둔 작은 프로그램을 돌리는 일이 될 수 있다는 뜻이다. 보안 연구자 타비스 오르만디가 블로그 'Fun with Constrained Programming'에서 다룬 이 주제는, 익숙한 포맷 안에 얼마나 비직관적인 실행 환경이 숨어 있을 수 있는지를 보여 준다.

필터를 위한 작은 CPU

RarVM이 애초에 존재하는 이유는 압축 효율을 높이기 위한 '필터' 때문이다. 특정 종류의 데이터는 그대로 압축하기보다 미리 한 번 변환해 두면 훨씬 잘 압축된다. 예를 들어 실행 파일의 상대 주소나 멀티미디어 데이터처럼 규칙성이 있는 바이트열은 전처리 단계를 거치면 중복이 드러난다. RAR은 이런 변환 로직을 포맷에 고정해 두는 대신, 아카이브 안에 작은 프로그램으로 넣어 두고 압축 해제 시 가상머신 위에서 돌리는 방식을 택했다. 그래서 RarVM은 범용 언어가 아니라, 입력 버퍼를 받아 변환한 결과를 내보내는 제한된 목적의 계산 엔진에 가깝다.

이 구조에서 가장 눈에 띄는 특징은 입출력 방식이다. 흔히 상상하는 print 같은 출력 함수가 존재하지 않는다. 대신 결과는 메모리의 고정된 위치에 마련된 출력 버퍼에 쓰여지고, unrar 본체가 그 버퍼를 읽어 처리한다. 다시 말해 VM이 할 수 있는 외부 작용은 사실상 '정해진 영역에 쓰기' 하나로 좁혀져 있다. 표준 출력이나 파일 쓰기 같은 일반적인 시스템 상호작용 통로가 열려 있지 않다는 점이 이 샌드박스의 핵심 제약이다.

제약이 곧 퍼즐이 된다

이렇게 기능이 좁혀진 환경은 공격자의 관점에서는 탈출 대상이고, 연구자의 관점에서는 흥미로운 프로그래밍 퍼즐이 된다. 사용할 수 있는 명령과 호출이 극히 제한되어 있을 때, 그 안에서 의도된 변환을 넘어 의미 있는 동작을 만들어 낼 수 있는가. VM이 얼마나 단단히 가둬져 있는지, 쓰기 외에 어떤 호출이 실제로 노출되어 있는지를 하나씩 따져 보는 과정 자체가 이 분야의 재미다. 제약이 많을수록 가능한 수가 줄어드는 대신, 그 좁은 공간을 영리하게 활용하는 기술이 요구된다.

관련해서 오르만디는 CRC 값을 원하는 대로 맞추는 기법도 언급한다. CRC-32는 오류 검출용 체크섬이지만 암호학적 안전성을 목표로 설계된 것이 아니다. 따라서 데이터의 일부를 조정해 특정한 CRC 값을 강제로 만들어 내는 일이 수학적으로 가능하다. 그는 이 주제를 더 추상적으로 다루면서도 CRC-32에 대한 구체적인 C 구현을 제시한 논문의 공저자이기도 하다. 체크섬을 '맞춰 넣을 수 있다'는 사실은, 포맷 구조를 교묘하게 조립해야 하는 이런 저수준 작업에서 실질적인 도구가 된다.

실무자가 눈여겨볼 지점

한국의 개발자와 보안 담당자에게 이 이야기의 교훈은 특정 취약점 자체보다 사고방식에 있다. 널리 쓰이는 파일 포맷이 데이터만 담는다는 가정은 언제든 깨질 수 있다. 압축 해제, 미디어 디코딩, 문서 렌더링처럼 '그냥 여는' 동작으로 보이는 처리 과정이 실제로는 외부에서 주어진 코드나 복잡한 상태 기계를 실행하는 것일 수 있다. 신뢰할 수 없는 파일을 다루는 파이프라인이라면, 파서와 디코더가 어떤 내장 실행 기능을 갖고 있는지, 그 기능이 어떤 샌드박스 안에서 돌아가는지를 공급망 점검 항목으로 삼을 필요가 있다.

동시에 이 사례는 '제약된 환경이라고 안전한 것은 아니다'라는 점을 상기시킨다. 쓰기 하나만 허용된 VM이라도, 그 쓰기가 닿는 메모리 영역과 호스트의 처리 방식에 따라 안전성은 크게 달라진다. 샌드박스를 설계하거나 신뢰할 때는 '무엇을 금지했는가'보다 '허용된 최소한의 동작으로 무엇까지 할 수 있는가'를 기준으로 평가하는 편이 현실적이다. 다만 원문은 특정 제품의 취약점 공개나 완결된 익스플로잇을 다룬 기술 문서라기보다, 잘 알려지지 않은 실행 환경을 탐구하는 실험적 기록에 가깝다는 점은 감안해 읽어야 한다. 구체적인 공격 가능성이나 패치 상태를 판단하려면 해당 포맷과 구현의 최신 자료를 별도로 확인해야 한다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://blog.cmpxchg8b.com/2012/09/fun-with-constrained-prog...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...