Rust로 gzip 압축 해제를 250줄에 구현하기 — 압축 알고리즘의 속살을 들여다보다

우리가 매일 쓰지만 몰랐던 것

gzip이라는 이름, 개발자라면 한 번쯤 들어보셨을 거예요. 웹 서버에서 응답을 압축할 때, 파일을 묶어서 보낼 때, tar.gz 파일을 풀 때 늘 등장하는 그 친구요. 그런데 이 gzip이 실제로 어떻게 데이터를 압축하고 풀어내는지 속을 들여다본 적은 많지 않을 거예요.

최근 한 개발자가 Rust를 사용해서 gzip 압축 해제(decompression)를 단 250줄의 코드로 구현한 글을 공개했어요. 외부 라이브러리 없이 처음부터 끝까지 직접 만든 건데요, 이게 단순한 코딩 연습이 아니라 DEFLATE 알고리즘의 핵심을 정말 깔끔하게 풀어낸 교육적인 콘텐츠여서 눈여겨볼 만해요.

DEFLATE 알고리즘, 이게 뭐냐면

gzip의 심장은 DEFLATE라는 압축 알고리즘이에요. 이 알고리즘은 두 가지 기법을 조합해서 데이터를 줄이는데요.

첫 번째는 LZ77이에요. 이게 뭐냐면, 데이터를 앞에서부터 읽어가면서 "아, 이 부분은 아까 나왔던 데이터랑 똑같네?"하고 발견하면, 그 데이터를 다시 쓰는 대신 "몇 칸 뒤로 가서 몇 글자 복사해"라는 짧은 참조로 바꿔버리는 거예요. 마치 글을 쓸 때 같은 문단을 반복하는 대신 "위의 내용 참조"라고 적는 것과 비슷하달까요.

두 번째는 허프만 코딩(Huffman Coding)이에요. 자주 나오는 글자에는 짧은 코드를, 드물게 나오는 글자에는 긴 코드를 부여하는 방식이에요. 영어에서 'e'는 엄청 자주 나오니까 짧은 비트로 표현하고, 'z'는 드물게 나오니까 긴 비트로 표현하는 식이죠. 모스 부호가 이 원리를 쓰는데, 영어에서 가장 많이 쓰이는 'e'의 모스 부호가 점 하나(·)로 가장 짧은 것과 같은 맥락이에요.

이 글의 구현에서는 이 두 단계를 역순으로 수행해요. 압축된 비트스트림에서 허프만 코드를 해독하고, 그 안에 들어있는 LZ77 참조를 풀어내서 원본 데이터를 복원하는 거죠.

250줄로 가능한 이유

"고작 250줄로 이게 된다고?"라고 생각하실 수 있는데, 여기에는 몇 가지 포인트가 있어요.

일단 압축 해제만 구현했어요. 압축(compression)은 "어떻게 하면 가장 효율적으로 줄일 수 있을까"를 최적화해야 해서 훨씬 복잡하지만, 해제는 정해진 규칙을 따라가기만 하면 되거든요. 레시피를 개발하는 건 어렵지만, 레시피대로 요리하는 건 상대적으로 쉬운 것과 비슷해요.

그리고 Rust라는 언어의 특성도 한몫해요. Rust의 패턴 매칭, 이터레이터, 그리고 강력한 타입 시스템 덕분에 비트 단위 조작 같은 저수준 작업도 비교적 깔끔하게 표현할 수 있어요. C로 같은 걸 구현하면 에러 처리와 메모리 관리 코드 때문에 훨씬 길어지겠죠.

글에서 특히 인상적인 부분은 비트 리더(bit reader)의 구현이에요. gzip은 바이트 단위가 아니라 비트 단위로 데이터를 읽어야 하는데, 이 비트 리더를 간결하면서도 정확하게 구현한 방식이 Rust의 장점을 잘 보여줘요.

비슷한 교육적 프로젝트들

이런 "작은 코드로 핵심을 구현하기" 접근은 개발자 커뮤니티에서 인기 있는 학습 방법이에요. 비슷한 프로젝트로는 "Build Your Own X" 시리즈가 유명한데, 데이터베이스, 웹 서버, 컴파일러 등을 밑바닥부터 만들어보는 프로젝트들이에요.

압축 알고리즘 쪽으로 보면, 최근에는 Zstandard(zstd)가 gzip의 대안으로 많이 주목받고 있어요. Facebook이 만든 건데, gzip보다 압축률과 속도 모두 뛰어나서 리눅스 커널, HTTP 압축 등에서 점점 채택되고 있죠. 하지만 gzip은 30년 넘게 사실상 표준으로 쓰여온 만큼, 이 알고리즘을 이해하는 건 여전히 의미가 있어요.

Rust로 이런 저수준 구현을 하는 흐름도 계속 늘고 있어요. ripgrep(grep 대체), fd(find 대체) 같은 CLI 도구들이 Rust로 만들어져서 기존 도구보다 월등한 성능을 보여주면서, "성능이 중요한 시스템 프로그래밍은 Rust로"라는 인식이 자리잡고 있거든요.

한국 개발자에게 주는 시사점

이 글은 두 가지 측면에서 가치가 있어요.

첫째, CS 기초 복습으로 훌륭해요. 자료구조와 알고리즘 수업에서 허프만 코딩을 배웠던 기억이 나시나요? 그때는 이론만 외웠다면, 이제 실제로 동작하는 코드로 확인해볼 수 있어요. 면접 준비를 하고 계신 분들에게도 압축 알고리즘의 실제 구현을 이해하는 건 좋은 무기가 될 수 있어요.

둘째, Rust 학습의 좋은 출발점이에요. Rust를 배우고 싶은데 뭘 만들어볼지 모르겠다는 분들이 많잖아요. 250줄이면 하루 저녁이면 읽고 이해할 수 있는 분량이고, 비트 조작, 에러 처리, 타입 시스템 등 Rust의 핵심 기능을 자연스럽게 접할 수 있어요.

실무적으로도, 웹 서버의 Content-Encoding 처리, 로그 파일 압축, 데이터 파이프라인에서의 압축 최적화 등을 다룰 때 내부 동작 원리를 아는 것과 모르는 것의 차이는 꽤 크거든요.

정리하면

매일 .gz 파일을 풀면서도 그 안에서 무슨 일이 일어나는지 몰랐다면, 이 250줄짜리 Rust 구현체가 아주 좋은 출발점이에요. 복잡해 보이는 알고리즘도 핵심만 뽑아내면 생각보다 간결하게 표현할 수 있다는 걸 보여주는 좋은 사례이기도 하고요.

여러분이 "밑바닥부터 구현해봐서 이해가 확 됐다"고 느낀 경험이 있다면, 어떤 프로젝트였는지 궁금해요. 혹시 Rust로 뭔가 만들어보신 분 계신가요?