거대 언어 모델(LLM)을 극한까지 압축하는 방법 중 하나가 삼진법(ternary) 양자화다. 모든 가중치를 -1, 0, +1 세 가지 기호 중 하나로만 저장하는 방식이다. 이 세 기호를 정보이론적으로 표현하는 데 필요한 비용은 log2(3), 약 1.585비트다. 그래서 삼진법 모델의 저장 효율은 관행적으로 '가중치당 1.58비트'를 기준으로 이야기돼 왔다. 그러나 실제 배포 현장에서 쓰이는 포맷은 이 이론값을 그대로 달성하지 못한다. 새로 arXiv에 공개된 연구 'Breaking the 1.58-bit Barrier for Ternary LLMs'는 이 관행적 기준 자체가 데이터의 실제 분포를 무시한 낭비였음을 지적하고, BITCOS라는 대안 레이아웃을 제안한다.
왜 실제 저장 비용은 1.58비트보다 큰가
현재 가장 널리 쓰이는 방식은 다섯 개의 삼진 가중치를 1바이트(8비트)에 밀어 넣는 '파이브-트릿 패킹(five-trit packing)'이다. 3의 5제곱은 243으로 256보다 작으니 다섯 개를 한 바이트에 담는 것 자체는 가능하다. 문제는 실무에서 사용하는 그룹 크기가 2의 거듭제곱으로 맞춰지면서 이 값이 가중치당 1.625비트로 올림 처리된다는 점이다. 결국 이론값 1.585비트보다 더 큰 비용을 치르게 된다. 더 근본적인 한계는 이 방식이 -1, 0, +1 세 기호가 똑같은 확률로 나타난다고 전제한다는 데 있다. 세 기호가 동등하게 등장할 때만 log2(3)이 최적값이기 때문이다.
연구진은 이 전제가 현실과 다르다는 점을 데이터로 확인했다. 29개의 삼진법 LLM을 실제로 측정한 결과, 0이 전체 가중치에서 차지하는 비중이 모델에 따라 최대 51.5%에 달했다. 절반 가까이가 0이라면, 세 기호를 균등하다고 가정하는 인코딩은 명백히 비효율적이다. 0이 많다는 사실은 그 자체로 압축 여지를 남긴다.
BITCOS의 구조와 압축 효과
BITCOS는 이 편향을 정면으로 활용하는 분포 적응형 레이아웃이다. 구조는 단순하다. 먼저 각 가중치가 0인지 아닌지를 표시하는 조밀한 '존재 비트맵(presence bitmap)'을 두고, 0이 아닌 가중치에 대해서만 부호(-1 또는 +1)를 압축해 담은 '부호 벡터(sign vector)'를 붙인다. 존재 여부에 1비트, 0이 아닌 원소에만 추가로 1비트를 쓰므로, 0의 밀도를 z라 할 때 가중치당 비용은 2-z 비트가 된다. z가 클수록, 즉 0이 많을수록 저장 비용이 줄어드는 구조다.
실측 결과 BITCOS는 29개 모델 중 26개에서 파이브-트릿 패킹보다 더 조밀하게 가중치를 저장했다. 0이 가장 많은 모델에서는 가중치당 1.485비트까지 내려가, 관행적 기준선인 1.58비트는 물론 이론값도 밑돌았다. 물론 0의 비율이 낮은 일부 모델에서는 기존 패킹이 여전히 유리하다. 2-z라는 비용 공식이 말해주듯, 이 방식의 이점은 전적으로 모델의 희소성에 달려 있다는 점은 분명한 전제 조건이다.
압축률이 아니라 처리량으로 이어지는가
저장 공간을 아끼는 포맷은 많지만, 실제로 쓸모가 있으려면 언패킹, 즉 압축을 푸는 과정이 연산 병목이 되지 않아야 한다. BITCOS는 이 지점을 의식해 현대 프로세서와 GPU에서 효율적으로 풀 수 있도록 설계됐고, AVX-512, AVX2, 그리고 인텔 Xe2 GPU를 겨냥한 최적화된 언패킹 시퀀스가 함께 제시됐다. 실무자 입장에서 중요한 대목은 이 부분이다. 포맷만 바꾸고 커널이 따라주지 않으면 압축률 개선은 서류상의 수치에 그친다.
성능 측정도 이를 뒷받침한다. 프로덕션 수준의 최신 삼진법 행렬-벡터 곱셈 커널과 비교했을 때, 실제 모델이 보이는 0 밀도 조건에서 최대 1.28배의 성능 향상이 나타났다. 나아가 클라이언트·서버 CPU와 내장·외장 Xe2 GPU를 아우르는 다섯 개 플랫폼에서 종단간 추론을 돌린 결과, 디코드 처리량이 CPU에서 최대 1.18배, GPU에서 최대 1.27배 개선됐다. 메모리 대역폭이 병목인 온디바이스 LLM 추론 환경에서, 가중치를 더 적게 읽으면서도 언패킹 비용을 낮게 유지하면 이런 처리량 이득으로 직결된다.
종합하면 이 연구의 실무적 함의는 두 가지다. 첫째, 삼진법 모델을 배포할 때 '1.58비트'를 고정된 하한처럼 받아들일 필요가 없으며, 자신이 다루는 모델의 실제 0 분포를 측정해보는 것이 선행돼야 한다. 둘째, 압축 이득이 처리량 이득으로 옮겨가려면 대상 하드웨어에 맞는 언패킹 커널이 필수라는 점이다. 다만 성능 향상 폭이 모델의 희소성에 크게 좌우되고, 제시된 최적화가 특정 명령어 집합과 인텔 GPU에 맞춰져 있다는 점은 도입 전에 자신의 환경과 대조해봐야 할 한계다.