대형 언어 모델을 개인 기기에서 돌리려는 시도는 계속 있었지만, 모델 크기가 커질수록 램 용량이라는 물리적 벽에 부딪혔다. 스위프트렛(Swiftlet)은 이 벽을 우회하는 방식으로 화제를 모으고 있다. 이 프로젝트는 큐원3-Next와 큐원3.5/3.6 계열의 MoE(전문가 혼합) 하이브리드 모델을 겨냥해 스위프트(Swift)와 메탈(Metal)로 작성된 실행 런타임으로, 800억(80B) 파라미터 모델을 맥에서 4.3GB 램만으로 구동한다고 밝혔다. 더 눈길을 끄는 대목은 350억(35B) 모델을 아이폰17에서 약 2.5GB 램으로, 초당 약 1토큰 속도로 돌렸다는 점이다. 개발 측은 이 규모의 모델이 휴대폰에서 네이티브로 실행된 첫 사례로 알고 있다고 설명한다.
핵심은 '전문가 스트리밍'
작동 원리를 이해하려면 MoE 구조를 먼저 봐야 한다. 이 모델들은 계층마다 각 토큰을 512개 전문가 중 10개(80B), 또는 256개 중 8개(35B)로만 라우팅한다. 즉 파라미터 총량은 수백억 개지만 토큰 하나를 처리할 때 실제로 활성화되는 것은 약 30억(3B) 개에 불과하다. 스위프트렛은 이 특성을 활용해, 항상 필요한 작은 밀집(dense) 코어만 램에 상주시키고 라우팅된 전문가 가중치는 그때그때 저장소에서 스트리밍한다. 덕분에 전체 모델을 램에 올리지 않고도 추론이 가능해진다. 여기에 더해 전체 계층의 75%가 고정 크기 순환 상태를 쓰는 게이티드 델타넷(Gated DeltaNet) 선형 어텐션을 사용하기 때문에, 컨텍스트 길이가 늘어나도 KV 캐시가 무한정 커지지 않는다는 점도 메모리 절감에 기여한다.
정확성 검증과 솔직한 한계
스트리밍 방식은 자칫 결과 품질을 훼손할 수 있다는 의심을 받기 쉽다. 개발 측은 이를 의식한 듯 검증 절차를 강조한다. 순전파의 모든 계층(델타넷 순환, 게이티드 GQA 어텐션, 희소 MoE 라우팅)을 mlx-lm 참조 구현과 계층별 픽스처로 대조했고, f32와 int4 양자화 형태 모두에서 확인했다고 한다. 또한 전문가가 캐시에서 응답하든 디스크에서 응답하든 동일한 결과를 낸다고 밝혀, 스트리밍이 모델 의미론을 바꾸지 않음을 못박았다. 다만 솔직하게 설정해야 할 기대치도 함께 제시한다. 토큰당 약 3B만 활성화되는 구조 탓에, 이 모델들은 대형 모델처럼 대화하고 글을 쓰지만 사실 회상 능력은 소형 모델 수준이라는 것이다. 이는 MoE 스파스 모델의 본질적 특성으로, 지식 정확도가 중요한 용도에서는 유념할 부분이다.
실무자가 따져볼 지점
현재 성능의 병목은 입출력이 아니라 커널 디스패치에 있다고 한다. 디코드 루프가 IO 바운드가 아닌 디스패치 바운드라는 진단은, 초당 1토큰이라는 아직은 느린 속도에 개선 여지가 크다는 신호이기도 하다. 실행 요건은 애플 실리콘과 macOS 14 이상 또는 iOS 17 이상이며, 컨테이너를 담을 SSD 여유 공간으로 35B는 18GB, 80B는 42GB가 필요하다. 아이폰에서 직접 체험하려면 앱스토어의 Priv AI 앱에서 설정의 실험 모델(Experimental Models) 항목을 통해 내려받을 수 있는데, 해당 기능이 담긴 최신 버전이 심사 중이라 며칠간 노출되지 않을 수 있다. 당장 써보려는 사용자를 위해 localLLM 저장소의 앱 소스를 내려받아 엑스코드로 직접 빌드하는 경로도 열어뒀다.
스위프트렛은 앞선 연구의 성과 위에 서 있다. 맥에서 젬마(Gemma) 모델로 전문가 스트리밍 가설을 입증한 터보필드페어(TurboFieldfare)의 공개된 설계 교훈을 여럿 받아들였다. mmap 대신 pread로 경계가 정해진 슬롯 풀에 전문가를 읽어들이고, LFU와 최근성 기준으로 축출하며, 고정 간격으로 전문가를 패킹해 한 번의 읽기로 한 전문가를 가져오는 방식 등이다. 다만 나머지는 터보필드페어 코드가 아니라 mlx-lm 참조를 기준으로 약 1만 줄 규모의 스위프트·메탈 코드로 새로 작성했다고 한다. 라이선스는 아파치 2.0이며, 모델 가중치는 별도로 내려받아 각자의 약관(큐원 모델은 아파치 2.0)을 따른다. 개인정보를 기기 밖으로 내보내지 않는 온디바이스 추론 수요가 커지는 상황에서, 이 접근이 실용적인 속도까지 끌어올릴 수 있을지가 관전 포인트다.