TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 97 READS

GPU 없이 64GB RAM으로 284B MoE를 돌린다는 llama-modchip

GPU 없이 64GB RAM으로 284B MoE를 돌린다는 llama-modchip
SOURCE IMAGE · HACKER NEWS

GPU 없이 시스템 메모리만으로 수백억~수천억 파라미터급 언어 모델을 돌린다는 주장은 늘 회의와 호기심을 동시에 불러온다. GitHub에 공개된 llama-modchip 프로젝트(synchopate/llama-modchip)는 그 경계를 꽤 공격적으로 밀어붙인다. 핵심 주장은 간결하다. 284B 규모의 DeepSeek-V4-Flash를 59GiB 미만의 RAM에서, 그것도 GPU 0개짜리 순수 64GB CPU 환경에서 256K 컨텍스트로 구동한다는 것이다. 공개된 수치로는 프리필(prompt processing) 44.4 tok/s, 디코드 9.1~14.7 tok/s이며, 30B급 MoE 모델은 25~111 tok/s까지 나온다고 한다.

무엇을 바꾼 프로젝트인가

llama-modchip은 완전히 새로운 추론 엔진이 아니라 ggml/llama.cpp를 겨냥한 커널 패치, 양자화 트랜스코더, 런타임 도구의 묶음이다. 목표는 희소(sparse) Mixture-of-Experts 체크포인트를 디스크나 VRAM이 아니라 시스템 RAM 안에 통째로 올려 x86_64(AVX-512/AVX2)와 ARM64(NEON/SVE/애플 Metal)에서 돌리는 것이다. MoE 모델은 전체 파라미터가 아무리 커도 토큰마다 일부 전문가(expert)만 활성화되기 때문에, 메모리에만 전부 상주시킬 수 있다면 연산량 자체는 조밀(dense) 모델보다 훨씬 작다는 구조적 특성을 파고든 접근이다. 이 특성 덕에 284B라는 숫자가 64GB 메모리 안에서 성립할 여지가 생긴다.

핵심 기술 포인트는 양자화다. 프로젝트가 쓰는 Fractal-64 모델은 block-64 BF16 스케일 텐서를 담는 커스텀 타입(GGML_TYPE_Q2_0, 타입 ID 40)과 deepseek4·Stockfish-PVS 커널에 의존한다. 그 결과 DeepSeek-V4-Flash의 Fractal 체크포인트는 56.56GiB까지 줄어든다. 다만 이 커스텀 텐서 타입이 호환성 문제의 핵심이기도 하다.

손실 없는 라우팅을 내세운다

양자화 추론에서 가장 민감한 질문은 품질 저하다. 프로젝트는 v2.4.0을 'Lossless'로 규정하며, DeepSeek-V4-Flash가 레이어마다 라우팅 전문가 6개와 공유 전문가 1개를 모두 평가하는 Top-6 방식을 기본값으로 쓰고 전문가 드롭이 전혀 없다고 설명한다. 패치되지 않은 런타임과 비교해 로짓 코사인 유사도가 1.00000이라는 수치를 근거로 제시한다. 속도를 더 원하는 사용자는 LLAMA_MOE_TOP_K를 5나 4로 낮춰 약간의 퍼플렉시티 손실을 감수하고 디코드 처리량을 끌어올릴 수 있는 선택지도 열어둔다. Nemotron 계열에는 100/100 품질 게이트 리포트가 함께 문서화돼 있다.

실행 경험도 비교적 손이 덜 가도록 다듬어져 있다. 윈도우에서는 AVVIA_MODCHIP.bat(또는 Git Bash의 ./modchip start)를 실행하면 물리 코어 수, 여유 RAM, nvidia-smi로 GPU VRAM을 탐지하고, llama.cpp CUDA 12.4 또는 Vulkan 바이너리를 내려받아 --n-cpu-moe 분할값을 계산한 뒤 http://127.0.0.1:8080에서 웹 챗 UI를 띄운다. 외부 .so 의존성이 전혀 없는 단일 바이너리(llama-server-modchip-linux-x86_64)도 함께 배포돼, 셋업 장벽을 낮추려는 의도가 읽힌다.

실무자가 짚어야 할 지점

한국 IT 실무자 입장에서 가장 현실적인 쓸모는 '로컬·오프라인 추론'과 '비용'이다. 고가의 GPU 없이 64GB 메모리를 갖춘 워크스테이션이나 서버에서 대형 MoE를 돌릴 수 있다면, 데이터 반출이 금지된 환경이나 소규모 실험에서 선택지가 넓어진다. 다만 디코드 속도가 초당 한 자릿수에서 10여 토큰 수준이라는 점은 분명히 인지해야 한다. 대화형 코드 어시스턴트나 배치성 처리에는 쓸 만하지만, 실시간 대량 서빙에는 부족하다. 처리량과 품질을 Top-K 플래그로 맞바꾸는 튜닝도 결국 운영자가 직접 감당해야 하는 몫이다.

호환성은 가장 큰 제약이다. 커스텀 타입 ID 40을 쓰기 때문에 패치되지 않은 llama.cpp, Ollama, LM Studio 바이너리는 'unknown tensor type 40' 오류로 이 모델을 거부한다. 즉 기존 생태계 도구에 그대로 얹을 수 없고, 프로젝트가 제공하는 전용 바이너리에 묶이는 구조다. 성능 수치 대부분이 프로젝트 자체 벤치마크와 리더보드 제출에 기반한다는 점, 그리고 독립적인 외부 검증이 아직 눈에 띄지 않는다는 점도 감안해야 한다. 흥미로운 접근인 것은 분명하지만, 프로덕션 도입을 검토한다면 공개된 수치를 그대로 믿기보다 자신의 하드웨어에서 ./modchip bench로 직접 재현해 보고, 전용 바이너리 종속이라는 운영 리스크를 저울질하는 편이 안전하다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/synchopate/llama-modchip
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...