.png)
로컬 환경에서 대형 언어 모델을 돌리려는 시도에서 가장 큰 걸림돌은 언제나 메모리였다. 성능이 뛰어난 모델일수록 가중치가 차지하는 용량이 커지고, 이는 곧 고가의 GPU와 높은 전력 소비로 이어진다. PrismML이 공개한 Ternary Bonsai 2 27B는 이 문제를 정면으로 겨냥한다. Qwen3.8 27B를 기반으로 한 이 모델은 원본이 가진 벤치마크 성능의 98.2%를 유지하면서도 전체 용량을 5.9GB로 줄였다. 풀 프리시전 원본 대비 9배 이상 작은 크기다.
핵심 기술은 삼진(ternary) 양자화다. 각 가중치를 −1, 0, +1 세 가지 값으로만 표현하고 여기에 FP16 그룹 단위 스케일링을 적용해, 가중치당 실효 비트를 1.76비트까지 낮췄다. 일반적인 16비트 부동소수점과 비교하면 극단적인 압축이지만, 저비트 표현을 언어 모델 전반에 일관되게 적용하면서도 262K 토큰의 긴 컨텍스트 창과 텍스트·이미지 멀티모달 입력을 그대로 지원한다. 라이선스는 Apache 2.0으로 공개돼 상업적 활용에도 제약이 적다.
어디에서 성능을 지켰는가
압축 모델을 평가할 때 총점만 보면 놓치는 부분이 있다. 추론, 수학, 코딩, 지시 따르기, 비전, 에이전트형 도구 사용을 아우르는 벤치마크에서 이 모델은 83.9점을 기록했다. 주목할 지점은 어느 영역에서 성능이 유지됐느냐다. 코딩 에이전트, 도구 사용 시스템, 멀티모달 워크플로, 장기 과제처럼 여러 단계를 거치는 작업은 작은 오차가 누적되며 결과를 크게 망가뜨리기 때문에 모델 열화에 특히 민감하다. Bonsai 2 27B는 바로 이런 영역에서 원본에 근접한 능력을 유지한다고 회사 측은 설명한다.
실제로 많은 저비트 대안 모델은 배포 가능한 크기를 얻는 대가로 코딩이나 비전, 에이전트 도구 사용 능력을 상당 부분 희생한다. 압축은 되지만 실무에서 쓸 만한 영역이 좁아지는 셈이다. PrismML은 자사 모델이 능력과 메모리 효율을 동시에 끌어올렸다는 점을 차별점으로 내세운다.
처리량과 전력 효율
로컬 배포에서 용량만큼 중요한 것이 속도와 전력이다. Ternary Bonsai 2 27B는 NVIDIA GeForce RTX 5090에서 초당 최대 143토큰, 애플 M5 Max에서 초당 46.8토큰의 처리량을 낸다. RTX 4090 기준으로는 토큰당 0.714mWh를 소비하는데, 이는 풀 프리시전으로 구동되는 8B 모델보다 40% 높은 에너지 효율이라는 게 회사의 주장이다. 27B급 모델이 그보다 작은 8B 모델보다 전력 효율이 높다는 대목은 저비트 커널 최적화의 효과를 단적으로 보여준다.
이 수치가 실무자에게 의미하는 바는 구체적이다. 코딩 어시스턴트에서는 편집과 디버깅 반복 주기가 빨라지고, 멀티모달 에이전트에서는 스크린샷과 문서, 도구 호출을 더 빠르게 순회할 수 있다. 개인용 로컬 워크플로에서는 같은 기기로 더 많은 추론을 돌리고 배터리 사용 시간을 늘리며, 클라우드를 계속 호출하지 않고도 백그라운드에서 상주하는 어시스턴트를 구성할 여지가 생긴다.
남는 질문들
이전 세대인 Ternary Bonsai 27B는 원본 대비 유지율이 95% 수준이었고, 이번 세대는 이를 98% 이상으로 끌어올렸다. PrismML은 이를 사실상 '무손실(lossless)'에 가까운 수준이라고 표현한다. 다만 2%가량의 격차가 코딩 에이전트 루프나 장기 과제에서 어떻게 드러나는지는 실제 워크로드로 검증해봐야 한다. 벤치마크 총점에서의 근소한 차이가 다단계 작업에서 누적될 가능성은 회사 스스로도 이런 영역이 열화에 민감하다고 인정한 만큼 유효한 검증 포인트다.
또한 공개된 수치는 대부분 PrismML 자체 측정에 기반하며, 압축·평가·벤치마크의 상세 방법론은 백서에 담겨 있다고만 안내됐다. RTX 4090·5090이나 M5 Max 같은 특정 하드웨어에서의 처리량이 다른 환경에서 어떻게 재현되는지, 삼진 양자화가 도메인 특화 파인튜닝 이후에도 성능을 유지하는지는 도입을 검토하는 팀이 직접 확인할 부분이다. 그럼에도 민감한 데이터를 로컬에서 처리하고 필요할 때만 클라우드로 넘기는 하이브리드 구성이 현실적 선택지로 올라섰다는 점에서, 저비트 모델의 배포 경제성은 개인 기기부터 데이터센터까지 다시 계산해볼 만한 변수가 됐다.