TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 37 READS

5.4GB에 담긴 260억 MoE: 양자화 컴파일러 LookAtMyQuant의 실험

5.4GB에 담긴 260억 MoE: 양자화 컴파일러 LookAtMyQuant의 실험
SOURCE IMAGE · HACKER NEWS

대형 언어 모델을 로컬에서 돌리려는 실무자에게 가장 큰 장벽은 메모리다. 모델을 저비트로 압축하는 양자화는 이미 보편적이지만, 압축률을 높일수록 출력 품질이 눈에 띄게 무너지는 한계가 있었다. LookAtMyQuant는 이 지점을 다르게 공략하는 '양자화 컴파일러'다. 모델을 구성하는 각 조각을 압축했을 때 출력이 얼마나 손상되는지를 개별적으로 측정하고, 전체가 정해진 용량 예산 안에 들어가도록 조각마다 손상이 가장 적은 부호(code)를 골라 배분한다. 균일하게 비트를 깎는 대신, 중요한 부분에는 비트를 더 주고 덜 중요한 부분을 더 압축하는 방식이다.

측정 기반 비트 배분

프로젝트가 내세우는 대표 수치는 구글 Gemma 4 E2B에서 같은 파일 크기 기준으로 널리 쓰이는 Q4_K_M 대비 KL 다이버전스(원본 모델 출력과의 차이를 재는 지표)가 12배 낮다는 점이다. KL이 낮다는 것은 압축된 모델이 원본과 더 가깝게 행동한다는 뜻이다. 이 효과의 핵심은 두 가지다. 하나는 모델의 각 행(row)에 피셔 정보량(Fisher information)을 근거로 비트를 차등 배분하는 것이고, 다른 하나는 격자 부호(trellis code)를 쓰는 것이다. 제작자 측 측정으로는 Gemma 4 E2B 2.5GB 구간에서 격자 방식이 기존 Lloyd–Max 방식보다 KL이 26% 낮았으나, 디코딩 속도는 약 22% 느렸다. 품질과 속도의 맞교환이 존재한다는 점은 분명히 기록돼 있다.

이어 Qwen3.5-4B를 가중치당 2.3비트, 1.23GB로 압축한 사례에서는 540개 정답형 수학 문제 중 330개를 풀었다. 같은 급의 Prism ML Bonsai 2 Ternary 4B가 1.20GB에서 328개를, 원본이 359개를 푼 것과 비교된다. 보정 데이터로 모델 자신이 작성한 수학 풀이를 쓰되 숫자 토큰에 10배 가중치를 주고, 이후 4,000스텝의 증류(distillation)를 거치는 조리법이다. 전체 비용은 GPU 시간 기준 약 34달러로 공개돼 있다. 더 큰 Qwen3.8-27B는 53.7GB에서 7.2GB(2.1비트)로 줄이고도 수학 540문제 중 401개를 풀어 원본과 동일했고, 같은 크기의 Unsloth UD-IQ2_XXS(348개)를 앞섰다. HumanEval 73.8% 대 67.1%, MMLU 78.8% 대 75.0%로도 같은 크기 비교군을 상회했다.

5.4GB로 접힌 MoE

가장 주목할 만한 결과는 thinkingmachines의 Inkling-2-Mini 압축이다. 이 모델은 물리적으로 26.4B, 활성 파라미터 5.4B인 전문가 혼합(MoE) 구조로, 6~17번 레이어를 3회 반복해 48개 논리 방문을 만들고 128개 전문가 중 상위 8개를 쓴다. 18.89GB의 텍스트 가중치를 1.63비트의 5.38GB판과 2.69비트의 8.87GB판 두 가지로 압축했다. 5.38GB판은 9.14GB짜리 Unsloth UD-Q2_K_XL보다 41% 작으면서 GSM8K와 HumanEval 양쪽에서 더 높은 점수를 냈고, 8.87GB판은 GSM8K에서 BF16 원본과 동률을 이루면서 영어·대화·코드 KL을 2.34배, 13개 언어 전체 평균 KL을 29.6% 낮췄다.

속도 수치도 공개됐다. 애플 M5 Max에서 5.4GB판은 토큰 512 프리필 시 초당 1,807토큰, 직렬 디코딩 75.3토큰, 추측 디코딩(speculative decoding)을 더하면 중앙값 124.4토큰을 기록했고, 활성 메모리는 약 5.98GB였다. 여기에는 별도로 제공되는 178.9MB 4비트 보조 드래프터(drafter)가 결합된다. 작은 드래프터가 다음 토큰들을 한 번에 제안하면 본 모델이 한 번의 패스로 검증해 자신의 그리디 출력과 일치하는 것만 채택하는 구조라, 결과 텍스트는 비보조 디코딩과 비트 단위로 동일하게 유지된다. 속도 이득은 텍스트의 예측 가능성에 비례해, 수학과 코드에서 크고 산문과 대화에서 작다.

실무적 의미와 한계

이 작업의 실용적 함의는 분명하다. 수십 GB급 모델을 품질 손실을 억제하면서 노트북 수준의 통합 메모리에 올릴 수 있다는 점, 그리고 전 과정이 수십 달러의 GPU 비용으로 재현 가능하다는 점이다. 측정-배분-빌드로 이어지는 파이프라인과 평가 스크립트, 코드북, 각 작업 명령이 저장소에 공개돼 있어 검증 가능성도 높은 편이다.

다만 한계도 함께 봐야 한다. 런타임이 MLX와 전용 Metal 커널에 의존하는 애플 실리콘 중심이라, 엔비디아 기반 서버나 다른 가속기에서 같은 이점을 그대로 얻기는 어렵다. 성능 수치는 대부분 제작자 자신의 측정이며 독립 검증 결과는 아니고, GSM8K 200문항·HumanEval 164문항처럼 평가 표본이 제한적이다. 보정 데이터를 모델이 스스로 생성한 수학 풀이에 맞춘 만큼 수학·코드에서 강점이 두드러지는 반면 산문에서는 가속 이득이 1.05배 수준으로 작다는 점도 명시돼 있다. 결국 이 프로젝트는 '균일 양자화'에서 '손상 측정에 기반한 비트 할당'으로 무게중심을 옮기려는 시도이며, 자신의 환경과 평가 기준으로 실측해 판단하는 것이 전제다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/ShinMegamiBoson/lookatmyquant
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...