26B 모델을 2GB 램에서: 애플 실리콘용 SSD 스트리밍 추론 엔진의 실체

애플 실리콘 맥의 통합 메모리는 넉넉하지 않다. 기본형 맥북이 여전히 8GB로 팔리는 상황에서, 수십억 개 파라미터를 가진 대형 언어 모델을 로컬에서 돌리는 일은 사실상 상위 램 구성의 전유물이었다. iOS·메탈 엔지니어 안드레이 미하일로프가 공개한 오픈소스 프로젝트 터보필드페어(TurboFieldfare)는 이 전제를 정면으로 흔든다. 전체 14.3GB 크기의 젬마 4 26B-A4B 인스트럭션 모델을 약 2GB 램 예산 안에서 추론하도록 만들어, 8GB 맥에서도 구동할 수 있다는 것이 핵심 주장이다.

전문가를 램이 아니라 SSD에서 가져온다

비결은 모델 구조와 스토리지 전략의 결합에 있다. 26B-A4B라는 이름이 시사하듯 이 모델은 전체 파라미터는 260억 개 규모이지만 토큰마다 실제로 활성화되는 파라미터는 40억 개 수준인 전문가 혼합(MoE) 구조다. 터보필드페어는 모든 계층에서 공유되는 1.35GB 코어와 FP16 KV 캐시만 메모리에 상주시키고, 각 토큰을 생성할 때 필요한 전문가(expert)만 SSD에서 스트리밍해 온다. 모델 전체를 램에 올리지 않기 때문에 램 사용량이 극적으로 줄어드는 대신, 전문가를 불러오는 디스크 입출력이 매 토큰마다 발생한다.

동작 흐름은 상당히 정교하게 설계돼 있다. 각 트랜스포머 계층에서 메탈이 상주 가중치로 어텐션과 라우터를 계산하면, CPU가 라우터가 지목한 상위 8개 전문가 ID를 받아 계층당 16칸짜리 LFU 캐시와 대조한다. 캐시에 없는 전문가는 제한된 병렬 pread 호출로 메탈이 접근 가능한 버퍼에 채워 넣고, 그 읽기가 진행되는 동안 메탈은 공유 전문가 분기를 미리 계산한 뒤 두 결과를 합친다. 프롬프트 사전 처리(prefill) 단계에서는 최대 128개 토큰을 묶어 처리해, 한 번 가져온 전문가가 여러 행을 처리하도록 입출력을 아낀다. 이런 지연 은닉과 캐시 설계가 없었다면 SSD 스트리밍 방식은 실용 속도를 내기 어려웠을 것이다.

MLX·라마.cpp 래퍼가 아닌 전용 런타임

주목할 점은 이 엔진이 MLX나 라마.cpp를 감싼 래퍼가 아니라는 것이다. 런타임, 스트리밍 설치 프로그램, CLI, 네이티브 맥 앱이 모두 스위프트와 메탈로 직접 작성됐고, 특정 모델에 최적화된 전용 구현이다. 범용성을 포기한 대가로 젬마 4 26B-A4B라는 고정된 체크포인트에 맞춰 커널과 캐싱, 입출력을 깎아냈다. 저자는 커널·캐싱·입출력·prefill·decode에 걸쳐 103건의 측정 실험 기록을 정리해 공개했는데, 여기에는 가장 큰 성능 향상뿐 아니라 그럴듯했지만 실패한 아이디어, 더 엄격한 검증에서 뒤집힌 초기 결과까지 담겼다고 밝힌다. 성능 수치를 절대적 상한이 아니라 하나의 기준점으로 제시하는 태도가 인상적이다.

설치 방식도 메모리 절약 철학을 그대로 따른다. 설치 프로그램은 원본 체크포인트 전체를 디스크에 펼치지 않고, 허깅페이스의 고정 리비전에서 필요한 바이트 범위만 스트리밍해 받으면서 곧바로 .gturbo 레이아웃으로 재포장한다. 첫 설치에서 약 15GB를 전송하며, 완성된 설치본은 약 14.3GB를 차지하고 매니페스트와 파일 해시 검증을 통과해야만 유효한 것으로 인정된다. 설치 자체는 모델을 메모리에 올리지 않는다.

실무자가 따져봐야 할 지점

실제로 쓰려는 이들에게 중요한 것은 제약이다. 이 패키지는 arm64 전용이며 구형 macOS·메탈 버전은 지원하지 않고, 최소 8GB 램을 요구한다. 이미지·오디오·비디오를 다루지 못하는 순수 텍스트 모델이며, 맥 앱과 CLI는 도구 호출을 노출하지 않는다. 다만 실험적인 루프백 OpenAI 호환 서버는 함수 도구 선언을 받아 모델이 생성한 도구 호출을 반환하되, 실행 권한과 실제 수행은 전적으로 클라이언트 몫으로 남긴다. 이 서버는 원격 인증이나 TLS가 없으므로 반드시 로컬 루프백에서만 써야 한다. 또한 앱·디코드 서비스·CLI·서버 등 모델을 점유하는 프로세스는 한 번에 하나만 실행해야 하고, 실행 전 memory_pressure -Q로 여유 메모리를 확인하고 무거운 앱을 닫으라는 권고가 붙는다.

생성 품질 측면에서는 기본값이 온도 0.2, Top-K 64, Top-P 0.95로 잡혀 있고, 결정적 출력이 필요하면 온도를 0으로 두면 된다. 저자 스스로 모델이 반복하거나 틀린 답을 낼 수 있으니 중요한 결과는 검증하라고 명시한다. 소스와 문서는 아파치 2.0 라이선스지만 모델 가중치는 포함되지 않으며 별도로 내려받고 원저작권 조건의 지배를 받는다. 구글과는 무관한 독립 연구 프로젝트라는 점도 분명히 한다.

결국 터보필드페어의 진짜 가치는 당장의 생산성 도구라기보다, 통합 메모리라는 애플 실리콘의 제약을 스토리지 스트리밍과 MoE 구조로 우회하는 온디바이스 추론의 한 가지 설계 참조점에 있다. 램이 부족한 맥에서 대형 모델을 굴리려는 개발자에게는 실험 가치가 있고, SSD 입출력과 페이지 캐시 상태에 따라 처리량이 크게 흔들린다는 점만 감안하면 자신의 하드웨어에서 직접 측정해볼 만한 프로젝트다. 저자는 다른 애플 실리콘 맥의 벤치마크 결과를 커뮤니티 가이드에 따라 기여해달라고 요청하고 있다.