삼진수 5개를 1바이트에? BitNet 시대의 극한 압축 기법

1.58비트 LLM(BitNet)이 주목받으면서, 가중치를 -1·0·1 세 가지 값으로 표현하는 삼진수(ternary) 저장이 화두입니다. 이론상 한 값은 log2(3)≈1.58비트면 충분하지만, 실제 하드웨어는 8비트 바이트 단위로만 다루죠. 핵심 아이디어는 3의 거듭제곱 성질을 이용하는 것입니다. 3^5=243은 256보다 작으므로, 삼진수 5개를 한 바이트에 담아도 값이 넘치지 않습니다. 즉 값당 1.6비트로 이론 한계에 근접합니다. 저자는 llama.cpp의 TQ1_0·TQ2_0 양자화 포맷을 예로 들며, 압축을 푸는 과정에서 느린 나눗셈·나머지 연산 대신 곱셈과 비트 시프트만으로 각 자리를 빠르게 복원하는 트릭을 소개합니다. 단순해 보이는 '진법 선택'이 메모리 대역폭과 추론 속도를 좌우한다는 점, 그리고 저수준 최적화가 여전히 LLM 효율의 승부처임을 잘 보여주는 사례입니다.