Qwen3.8 27B 양자화 실측: 4비트는 버티고 1비트는 무너진다

로컬에서 대형 언어 모델을 돌려본 사람이라면 한 번쯤 품는 의문이 있다. 품질을 포기하지 않으면서 이 모델을 굴리려면 GPU 메모리가 실제로 얼마나 필요한가. Qwen3.8 27B의 전체 BF16 모델은 55GB에 달해 대부분의 소비자용 하드웨어를 벗어난다. 그런데 Unsloth가 배포한 GGUF 양자화본을 llama.cpp로 벤치마크해 보니, 17GB짜리 4비트 Q4_K_M이 에이전트형 코딩 벤치마크인 Terminal-Bench 2.1에서 전체 모델과 대등한 점수를 냈다. 이 크기라면 24GB 카드인 RTX 4090에 올리고도 약 6만4천 토큰 분량의 컨텍스트를 확보할 여유가 남는다.

어디까지 줄여도 괜찮은가

테스트 대상은 8비트 Q8_0(29GB), 4비트 Q4_K_M(17GB), 2비트 UD-Q2_K_XL(10.7GB), 그리고 가장 작은 1비트 UD-IQ1_S(6.2GB)였다. 벤치마크는 대학원 수준 과학 지식을 묻는 GPQA Diamond, 지시 준수 능력을 보는 IFBench, 그리고 89개 과제로 구성된 Terminal-Bench 2.1을 사용했다. 필자는 먼저 BF16으로 Qwen이 공식 발표한 수치를 재현하는 데 성공했고, 그 위에서 양자화의 영향을 측정했다. 벤치마크에는 숨은 설정과 전제가 많아 재현 자체가 까다로운데, 첫 시도에서 공식 값과 일치했다는 점은 결과의 신뢰도를 뒷받침한다.

핵심 발견은 양자화 손상이 선형이 아니라는 것이다. 지식과 지시 준수 과제에서는 2비트까지 내려가도 측정 가능한 차이가 거의 없었고, 노이즈(보수적인 Wilson 95% 신뢰구간) 안에서 2비트만 살짝 낮았다. 다만 2비트에서는 컨텍스트가 약 4천 토큰 수준으로 크게 줄어든다는 제약이 따른다. 코딩 벤치마크에서도 Q4_K_M은 BF16을 그대로 재현했다. Q8_0은 실수로 건너뛰었지만 4비트와 전체 모델 사이 값으로 안전하게 보간할 수 있어, 굳이 비용을 들여 돌릴 이유가 없다는 판단이다.

추론 강도라는 변수

결과를 좌우한 또 다른 요인은 양자화가 아니라 추론 강도(effort) 설정이었다. 기본값은 xhigh이며, 최고 성적은 xhigh에서 약 8천 개의 추론 토큰을 소비할 때 나왔다. 다만 이 설정은 모델이 과도하게 오래 생각하게 만들 수 있어 선택이 까다롭다. 이는 로컬 모델이 실제보다 멍청하게 느껴진다는 커뮤니티의 불만이 양자화 자체보다 실행 설정에서 비롯될 수 있음을 시사한다. 토큰 예측 차이(KL 발산, 상위 1 예측)를 재는 것은 쉽지만, 그것이 과제 해결 능력의 저하를 뜻하는지는 별개의 문제이기 때문에 필자는 벤치마크 점수를 직접 측정하는 쪽을 택했다.

2비트는 코딩에서 눈에 띄는 하락을 보였지만 여전히 Opus 4.7이나 Gemini 3.1 Pro 수준으로, 최전선과는 거리가 있어도 쓸모없는 것과는 거리가 멀었다. 같은 과제를 풀 때 UD-Q2_K_XL은 BF16과 비슷한 횟수의 턴을 쓰면서 토큰은 약 4분의 1 더 소비했다. 즉 품질 저하가 곧바로 실패로 이어지기보다 다소 장황해지는 형태로 나타난 셈이다.

1비트에서 벽을 만난다

반면 1비트에서는 품질이 절벽처럼 떨어졌다. GPQA Diamond에서 점수는 무작위 추측 수준에 머물렀고, 가장 작은 모델은 그 아래로 내려갔다. 게다가 추론을 길게 시킬수록 오히려 나빠졌다. xhigh에서는 low보다 점수가 낮았는데, 모델이 토큰 예산이 소진될 때까지 생각을 이어가다 빈 답변을 반환하는 일이 잦았기 때문이다. Unsloth는 UD-IQ1_S가 89% 더 작으면서 상위 1 정확도를 약 72% 유지한다고 밝혔지만, 이 벤치마크에서는 남은 28%가 결정적이었다. r/LocalLLaMA에서 같은 모델을 두고 나온 다른 사용자의 경험담과도 부합한다.

실측에는 비용이 든다. 필자는 Modal의 L40S(48GB), H100(80GB), H200(141GB)을 빌려 약 3천 달러를 썼고, 이 모델은 8월 16일자 llama.cpp 빌드에서만 정상 동작했다. 참고로 KV 캐시는 양자화 수준과 무관하게 F16으로 두어 32k 토큰당 약 2.3GB를 차지했다. 규모의 경제로 서비스되는 API와의 격차도 크다. 284B 규모의 DeepSeek V4 Flash는 OpenRouter 최저가 기준 출력 100만 토큰당 약 0.1달러에 불과하다.

실무적 결론은 명확하다. 로컬에서 돌린다면 필요한 컨텍스트까지 함께 담기는 한도에서 가장 큰 모델을 고르되, 대부분의 작업에는 Q4_K_M이면 체감 차이 없이 충분하고 단순한 작업이라면 2비트 UD-Q2_K_XL도 무난하다. KV 캐시는 가중치보다 양자화에 더 취약하다는 보고가 있어 별도 검증이 필요한 영역으로 남는다. 다만 큰 그림에서 보면, 양자화는 두려워할 대상이 아니라 적극적으로 활용할 도구에 가깝다.