TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 100 READS

Unsloth, Qwen3.8-27B에 Dynamic V3.1 적용… 같은 크기로 정확도 5~10% 향상

Unsloth, Qwen3.8-27B에 Dynamic V3.1 적용… 같은 크기로 정확도 5~10% 향상
SOURCE IMAGE · HACKER NEWS

로컬 환경에서 대형 언어모델을 돌리려는 실무자에게 가장 큰 제약은 언제나 메모리와 저장 공간이다. 모델을 작게 압축하는 양자화(quantization)가 중요한 이유다. 양자화 도구를 만드는 Unsloth는 11월 11일 Qwen3.8-27B용 GGUF 양자화 파일을 자사의 'Dynamic V3.1' 알고리즘(프리뷰)으로 갱신했다고 밝혔다. 핵심은 파일 크기를 키우지 않으면서 대부분의 벤치마크에서 평균 정확도를 5~10% 끌어올렸다는 점이다.

Qwen3.8-27B는 270억 파라미터 규모의 밀집(dense) 모델로, 비전과 추론 기능, 256K 토큰의 컨텍스트 창을 갖췄다. Unsloth는 이 모델을 17GB 수준의 RAM/VRAM 환경에서 구동할 수 있다고 설명한다. 특히 4비트 양자화본은 RTX 5080이나 4090, 혹은 24GB 메모리를 갖춘 맥에서 돌아가는 16~19GB VRAM 수준을 겨냥한다. 에이전트형 코딩, 비전, 일반 대화 작업에 강점이 있다는 것이 Unsloth의 설명이다.

무엇이 바뀌었나

이번 갱신은 2비트부터 6비트까지의 양자화본에 적용됐다. 다만 3비트 양자화본은 기존 UD3 버전이 이미 V3.1과 대등한 수준이어서 교체하지 않았다고 한다. Unsloth는 여러 도메인에 대해 KLD(쿨백-라이블러 발산)를 측정했고, 대부분의 양자화본과 도메인에서 수치를 낮췄다고 밝혔다. 3비트를 그대로 둔 것도 벤치마크 개선 폭이 교체를 정당화할 만큼 유의미하지 않았다는 판단에서다. 이처럼 '개선된 부분만 선별 교체'하는 접근은, 버전 번호가 올랐다고 전부 다시 내려받을 필요는 없다는 실무적 신호이기도 하다.

벤치마크는 Terminal Bench 2.1, DeepSWE v1.1 같은 에이전트형 과제와 LiveCodeBench v6, GPQA Diamond, MMLU-Pro, AIME25 등 일반 과제를 포괄했다. 에이전트형 벤치마크는 256K, 나머지는 128K 컨텍스트 길이로 측정했다. 측정 설정은 추론 모드 기준 temperature 1.0, top_p 0.95, top_k 20으로 DeepSeek-V4.1-Flash 등 다른 모델과 동일한 방법론을 따랐다고 한다.

벤치마크 논쟁과 '여러 번 돌려야 한다'는 교훈

주목할 대목은 Unsloth가 경쟁 구현(ISTA의 GSQ-RCO, Exllama-v3)과의 비교를 공개적으로 반박했다는 점이다. 상대 측은 자사 양자화본이 AIME25에서 100%에 가까운 정확도 회복률을 보이고 Unsloth 쪽이 더 나쁘다고 주장했으나, Unsloth는 상대가 1회 시행에 그친 것으로 추정된다고 봤다. 자사는 14회 시행을 돌려 평균 회복률이 93~96% 수준이며, 시행 횟수를 늘리면 오히려 자사 구 버전(UD3)이 평균적으로 더 낫다는 반대 결론이 나온다고 설명했다.

이 논쟁의 실무적 함의는 분명하다. Unsloth는 greedy decoding(temperature 0)으로도 100% 회복률을 재현할 수 없었는데, GPU 연산 자체가 비결정적이기 때문이라고 지적했다. 즉 양자화 품질을 단 한 번의 실행으로 판단하면 왜곡될 수 있으며, 벤치마크는 여러 번 반복해 평균을 봐야 한다는 것이다. 컨텍스트 예산 차이(상대는 약 96K로 추정)에 따라 우열이 뒤집힌다는 지적도, 벤치마크 수치를 볼 때 측정 조건을 반드시 확인해야 함을 일깨운다.

실행 방법과 설정

Qwen3.8-27B는 사고(thinking)와 비사고 모드의 기본 설정이 다른 하이브리드 추론 모델이다. 기본값은 'xhigh' 추론 강도로, 깊은 분석이 필요한 복잡한 과제를 겨냥한다. 사고 과정을 짧게 하고 싶으면 reasoning_effort를 조정하면 되는데, llama-server 실행 시 --chat-template-kwargs '{"reasoning_effort":"medium"}' 형태로 지정한다(윈도우 PowerShell은 따옴표 이스케이프가 다르다). 최대 컨텍스트는 262,144 토큰이며 YaRN으로 1M까지 확장할 수 있다. 이전 대화의 사고 흔적을 유지하는 'Preserve Thinking' 기능은 토큰 소비를 늘리지만 이어지는 대화의 정확도를 높일 수 있다.

실행 경로는 llama.cpp와 오픈소스 UI인 Unsloth Desktop, 그리고 NVFP4 양자화가 있다. NVFP4는 BF16 대비 약 1.5배 빠르고 92~97%의 top-1 정확도를 유지하며 FP8 KV 캐시 보정으로 컨텍스트를 2배까지 늘릴 수 있으나, RTX 50 시리즈·B200·B300 같은 엔비디아 블랙웰 GPU가 필요하고 현재 vLLM에서만 돌아간다(SGLang은 FP8 lm_head 지원 문제로 v0.5.19 버전이 요구된다). 구형 GPU라면 GGUF가 현실적인 선택이다.

정리하면 이번 발표는 극적인 신기능보다 '같은 크기에서 더 정확한 양자화'라는 점진적 개선에 가깝다. 다만 메모리 한 조각을 아끼며 로컬 추론을 돌리는 입장에서는 무료로 얻는 품질 향상이 반갑고, 벤치마크를 여러 번 반복 측정해야 한다는 방법론적 지적도 도구 선택 시 새겨둘 만하다. Unsloth는 더 개선된 Dynamic 양자화를 향후 Qwen4 등에 적용할 계획이라고 덧붙였다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://unsloth.ai/docs/models/qwen3.8
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...