오픈 웨이트 대형 언어 모델을 로컬 GPU에서 돌리려는 실무자에게 양자화(quantization)는 선택이 아니라 필수에 가깝다. 27B급 밀집(dense) 모델을 원래의 BF16 정밀도로 올리려면 소비자용 그래픽카드로는 감당하기 어렵기 때문이다. ByteShape가 공개한 Qwen 3.8 27B용 GGUF 양자화 모델 묶음인 'ShapeLearn'은 이 지점을 정면으로 다룬다. Qwen 3.8 27B는 2026년 8월 14일 공개됐고, ByteShape는 나흘 뒤인 8월 18일 최소한의 검증만 거친 'ShapeLearn-Lite'를 먼저 내놓은 뒤, 이번에 더 큰 최적화 예산을 들인 정식 ShapeLearn 다섯 종을 완성해 벤치마크와 함께 공개했다.
품질과 속도의 경계선
정식 ShapeLearn은 여섯 종의 GPU에서 '품질-속도 경계선(frontier)' 위에 놓인 다섯 개 모델로 구성된다. 여기서 경계선이란 '더 빠르면서 동시에 더 정확한 다른 모델이 존재하지 않는' 지점을 뜻한다. 릴리스 내 모델 태그인 GPU-5와 GPU-4가 사실상의 추천 등급인데, 큰 모델일수록 종합 점수가 높고 작은 모델일수록 처리량이 높다는 순서가 여섯 GPU 전반에서 일관되게 유지된다. 기본 권장 모델은 메모리에 들어가는 한 GPU-5로, BF16 대비 종합 벤치마크 점수의 99.63%에 도달한다. VRAM이 빠듯하면 훨씬 작은 파일이면서도 BF16의 약 99%를 지키고 오히려 더 빠른 GPU-4가 실용적 대안이 된다.밀집 모델은 MoE와 달리 메모리 전송이 병목이라, 비트 폭(BPW)을 낮추면 그만큼 초당 토큰 수(TPS)로 더 직접적으로 이어진다. 실측 처리량은 GPU에 따라 차이가 크다. 메모리가 가장 큰 RTX PRO 6000에서 GPU-5는 90.4 tok/s, RTX 5090에서는 93.7 tok/s, RTX 4090에서는 59.2 tok/s를 기록했다. 24GB급 카드 두 종은 다섯 모델을 모두 수용한다. 반면 VRAM이 빠듯한 RTX 4080에서는 GPU-4가 52.4 tok/s로 GPU-5의 45.7 tok/s를 앞서고, RTX 5060 Ti에서도 33.1 대 29.1 tok/s로 GPU-4가 빠르다. 한 카드에서 GPU-4에서 GPU-5로 옮기면 처리량을 약 7.5% 희생하는 대신 종합 점수가 98.72%에서 99.63%로 오른다는 저울질이 성립한다.
KLD 낮다고 성능이 좋은 건 아니다
이번 발표에서 실무적으로 가장 새겨둘 대목은 KLD(쿨백-라이블러 발산)에 대한 경고다. KLD는 양자화 모델의 토큰 분포가 BF16 기준과 얼마나 벌어졌는지를 재는 충실도(fidelity) 지표로, 큰 손상을 진단하는 데 유용하다. 그러나 낮은 KLD가 곧 높은 실제 성능을 뜻하지는 않는다. ByteShape의 측정에서 Unsloth의 UD-IQ3_S는 비슷한 크기의 Lite-1보다 KLD가 약 20% 낮았지만(0.028759 대 0.035875), 종합 벤치마크 점수는 오히려 95.55% 대 97.33%로 뒤졌다. 충실도 순위와 과제 수행 순위가 별개라는 얘기다. ByteShape는 이 주제를 다룬 논문이 EMNLP 산업 트랙에 채택됐다고 밝혔다.추측 디코딩: MTP와 DFlash2
처리량을 더 끌어올리는 두 가지 추측 디코딩(speculative decoding)도 함께 평가됐다. MTP 드래프트 헤드는 모든 GGUF에 내장돼 약 250MB만 더하며, 쓰지 않으면 로드되지 않는다. 반면 DFlash2는 약 1.1GB의 별도 4비트 드래프트 모델을 쓰므로 그만큼의 추가 GPU 메모리가 필요하고, llama.cpp b10658 이상을 요구하며 현재 이미지 입력을 지원하지 않는다. 성능은 DFlash2가 기준 대비 1.34~2.10배, MTP가 1.28~1.66배로, 대부분의 경우 DFlash2가 앞섰다. 다만 멀티모달 용도라면 이미지 미지원이 결정적 제약이 될 수 있어, 두 방식의 선택은 메모리 여유와 입력 형태에 따라 갈린다.실무 관점에서 핵심 교훈은 두 가지다. 첫째, VRAM 예산을 짤 때 모델 가중치만이 아니라 KV 캐시와 런타임 버퍼, 그리고 실제로 쓸 컨텍스트 길이까지 함께 계산해야 한다. 특정 모델이 측정표에 등장했다는 사실이 모든 컨텍스트 길이나 서빙 설정에서 들어맞음을 보장하지는 않는다. 둘째, 양자화 모델을 고를 때 KLD 같은 충실도 수치만 보고 순위를 매기지 말아야 한다. 충실도 지표는 분포가 얼마나 달라졌는지를, 벤치마크는 그 변화가 실제 과제에서 문제가 되는지를 알려주는 서로 다른 도구다.
한계도 분명하다. 모든 수치는 특정 벤치마크 구성과 Qwen 권장 샘플링, 사고 모드(medium thinking) 설정 아래 측정된 것이며, LiveCodeBench는 2023년 문제를 제외하는 등 평가 방식이 손질됐다. 속도 비교 역시 그리디 디코딩이 아니라 온도 기반 샘플링을 기준으로 해 실사용에 가깝지만, 디코딩 방식 간 품질 동등성을 독립적으로 입증하지는 않는다. 결국 이 릴리스가 주는 실질적 가치는 특정 카드에서 어떤 태그를 기본값으로 삼고, 어디까지가 검증된 주장인지를 구분해 읽는 안목에 있다.