TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 82 READS

ggml 1.0.0, 공개 API 정리와 FP8·YaRN 추가로 온디바이스 추론을 다지다

ggml 1.0.0, 공개 API 정리와 FP8·YaRN 추가로 온디바이스 추론을 다지다
SOURCE IMAGE · HACKER NEWS

ggml은 llama.cpp를 비롯한 여러 경량 추론 프로젝트의 바탕이 되는 C/C++ 텐서 연산 라이브러리다. 외부 런타임 의존성을 최소화하고 양자화된 모델을 CPU와 다양한 GPU·가속기에서 돌릴 수 있게 해준다는 점에서, 서버급 인프라 없이 로컬이나 엣지 환경에서 대형 언어 모델을 구동하려는 실무자에게는 사실상의 기반 계층에 가깝다. 이번에 공개된 1.0.0 릴리스는 이름값만큼이나 상징적인데, 새 기능을 쏟아내기보다 공개 인터페이스를 정리하고 백엔드별 성능을 폭넓게 손본 '정돈형' 버전이기 때문이다.

공개 API 정리와 레거시 연산 제거

가장 눈에 띄는 변화는 더 이상 쓰이지 않던 공개 API와 레거시 DIAG_MASK 계열 연산을 걷어낸 점이다. 예제 코드도 ggml_diag_mask_inf 제거에 맞춰 수정됐다. 1.0.0이라는 번호가 통상 인터페이스 안정화를 뜻한다는 점을 감안하면, 이번 정리는 앞으로의 호환성 약속을 위해 묵은 짐을 먼저 내려놓는 작업으로 읽힌다. 다만 이는 곧 깨지는 변경(breaking change)을 의미하기도 한다. 제거된 심볼에 의존하던 코드는 그대로 빌드가 깨질 수 있으므로, ggml을 직접 링크해 쓰는 쪽이라면 업그레이드 전에 자신이 호출하는 API가 정리 대상에 포함됐는지 확인하는 과정이 필요하다.

기능 측면에서는 FP8 지원과 설정 가능한 YaRN 트렁케이션(truncation)이 추가됐다. FP8은 8비트 부동소수점 형식으로, 기존 정수 양자화와는 다른 정밀도·성능 균형점을 제공해 최신 하드웨어에서 메모리와 대역폭을 아끼는 데 쓰인다. YaRN은 RoPE 기반 위치 인코딩을 확장해 모델이 학습 때보다 긴 문맥을 다루게 하는 기법인데, 트렁케이션을 조정할 수 있게 되면서 문맥 확장의 강도를 상황에 맞춰 제어할 여지가 생겼다. 둘 다 당장 모든 사용자에게 필요한 기능은 아니지만, 긴 입력을 다루거나 신형 가속기를 쓰는 환경에서는 선택지를 넓혀준다.

백엔드별로 흩어진 성능 작업

이번 릴리스의 실질적 무게는 백엔드 성능 개선에 쏠려 있다. CUDA와 Metal에서는 배치 크기가 작을 때 유리한 few-row 양자화 행렬곱과 MoE(전문가 혼합) 연산 융합이 들어갔고, CUDA 쪽은 배치 2~24 구간을 겨냥한 MMQ 경로와 nvfp4 체크포인트를 위한 에필로그 스케일 융합까지 포함됐다. Vulkan에는 프리필 단계를 위한 인텔 FlashAttention 커널 경로가 추가됐고, SYCL에는 디바이스 측에서 동작하는 MoE 스케줄러가 들어가 호스트 개입을 줄였다. 추론의 어느 단계(프리필이냐 디코드냐)와 어떤 하드웨어를 쓰느냐에 따라 체감 효과가 갈리는 만큼, 자신의 워크로드에 해당하는 항목인지 따져보는 편이 좋다.

엣지·모바일 쪽 손질도 두텁다. OpenCL에서는 아드레노 GPU를 위해 FlashAttention을 분해(decompose)한 구현이 들어갔고, 퀄컴 Hexagon DSP는 Q5_0·Q5_1 양자화를 비롯해 지원 연산 범위가 넓어졌다. 새 WebGPU 커널이 추가돼 브라우저·웹 환경 추론의 토대가 보강됐고, SpacemiT RVV(RISC-V 벡터) 커널로 특정 연산을 라우팅하거나 ARM NEON에서 4x4 SIMD 타일을 쓰는 등 비주류 아키텍처에 대한 대응도 이어졌다. Windows ARM64에서 clang-cl로 Hexagon 호스트 빌드가 되도록 고친 수정까지 보면, ggml이 사실상 거의 모든 실행 환경을 끌어안으려 한다는 방향성이 분명하다.

스케줄러 개선과 실무적 의미

범용적으로 유용한 변화는 스케줄러가 불필요한 입력 업로드를 피하도록 개선된 점이다. 계산 그래프가 여러 분할(split)로 나뉠 때, 이전 분할에서 이미 계산된 입력만 미리 올리도록 바뀌면서 장치 간 데이터 전송 낭비를 줄였다. 이런 종류의 개선은 특정 하드웨어에 국한되지 않고 다양한 구성에서 조용히 효율을 끌어올린다는 점에서, 벤치마크 수치보다 누적 효과로 평가해야 할 대목이다.

정리하면 ggml 1.0.0은 화려한 신기능이 아니라 인터페이스 안정화와 백엔드 전반의 최적화에 무게를 둔 릴리스다. 다만 공개된 릴리스 노트만으로는 각 최적화가 실제로 몇 퍼센트의 속도나 메모리 이득을 내는지 가늠하기 어렵고, 효과 역시 하드웨어와 모델 구성에 따라 크게 달라진다. 따라서 ggml을 직접 쓰거나 llama.cpp 등을 통해 간접적으로 의존하는 입장이라면, 제거된 API로 인한 호환성 리스크를 먼저 점검한 뒤 자신의 실제 환경에서 성능 변화를 측정해 도입 여부를 판단하는 것이 현실적인 접근이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/ggml-org/ggml/releases/tag/v1.0.0
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...