애플 머신러닝 연구팀이 자사 오픈소스 배열 프레임워크 MLX의 새 버전을 공개하면서, 맥 스튜디오 여러 대를 묶어 거의 1조 개에 육박하는 파라미터 규모의 모델을 책상 위에서 구동하는 사례를 제시했다. 핵심 시연 대상은 816B 규모의 혼합 전문가(MoE) 모델 'Muse Spark Open'으로, M5 Ultra 맥 스튜디오 4대로 구성한 클러스터에서 초당 36토큰 이상을 생성했다. 이는 사람의 평균 독서 속도를 웃도는 수준으로, 외부 클라우드에 데이터를 보내지 않고 로컬에서 프런티어급 모델을 다루는 것이 현실적 선택지가 되었음을 보여준다.
하드웨어 세대 차이가 만드는 격차
벤치마크는 세 가지 모델을 대상으로 했다. 816B MoE 구조에 NVFP4 정밀도로 평가한 Muse Spark Open, 128B 밀집(dense) 구조의 Mistral Medium 3.5(FP8), 그리고 27B 밀집 구조의 Qwen 3.8(BF16)이다. MoE 모델은 전체 파라미터 중 일부 전문가만 활성화해 추론 시 연산량을 줄이는 반면, 밀집 모델은 모든 파라미터가 추론에 관여한다는 구조적 차이가 성능 해석의 전제가 된다.
측정 지표는 첫 토큰까지의 시간(TTFT), 생성 처리량(토큰/초), 최대 전력 소비 세 가지였고, 8,192토큰과 65,536토큰 두 가지 컨텍스트 크기에서 측정했다. 큰 컨텍스트를 다루는 이유는 에이전트형 코딩 도구처럼 긴 맥락이 필요한 로컬 활용이 늘고 있기 때문이다. 결과에서 M5 Ultra와 이전 세대 M3 Ultra의 차이가 뚜렷하게 갈렸다. TTFT는 연산 바운드 지표인데, M5 Ultra GPU에 새로 들어간 뉴럴 가속기가 행렬 곱 연산을 전담하면서 M3 Ultra 대비 최대 4.6배 빠른 TTFT를 기록했다. 반면 생성 속도는 메모리 대역폭에 좌우되며, M5 Ultra의 통합 메모리 대역폭 1.2TB/s(M3 Ultra는 819GB/s)가 그대로 1.6배의 토큰 생성 속도 향상으로 이어졌다.
전력 측면도 주목할 만하다. 최대 소비 전력이 M3 Ultra는 약 200W, M5 Ultra는 약 300W로, 일반 가정이나 사무실 전원 환경에서도 무리 없이 운용할 수 있는 수준이다. 실제로 Qwen 3.8과 Mistral Medium 3.5는 65,536토큰 조건에서 각각 68GB, 158GB의 메모리를 점유해 512GB 단일 맥 스튜디오에 여유 있게 들어간다.
한 대로는 부족할 때 — 분산 추론의 두 갈래
문제는 Muse Spark Open처럼 거대한 모델이다. 원래 정밀도(BF16)로는 파라미터만으로 1.6TB가 넘는 메모리가 필요하고, 4비트 양자화(NVFP4)로 줄여도 약 493GB에 달해, 추론 중 중간 연산을 위한 메모리까지 고려하면 한 대에 담을 수 없다. 애플은 여기서 두 가지 병렬화 방식을 소개한다. 파이프라인 병렬화는 모델의 앞쪽 절반 레이어를 한 대가, 뒤쪽 절반을 다른 대가 맡아 순차 실행하는 방식으로 구현이 단순하다. 텐서 병렬화는 각 레이어의 폭(width)을 여러 대에 나누어 레이어 단위 연산 자체를 병렬화하지만, 레이어마다 입력을 브로드캐스트하고 출력을 집계하는 잦은 소규모 통신이 필요해 구현이 복잡하다.
이 지점에서 통신 기술이 결정적이다. macOS 26.2는 썬더볼트 5 위에서 동작하는 저지연 RDMA 드라이버를 도입했고, MLX 0.30.1 이상은 이를 기반으로 jaccl이라는 통신 집합 연산을 제공한다. 실험에서는 맥 두 대를 썬더볼트 케이블 두 가닥으로 연결해 링크 대역폭을 두 배로 확보했다. 작업 실행은 mlx.launch 헬퍼에 --backend jaccl 백엔드를 지정하는 방식으로 이뤄진다.
실무자가 눈여겨볼 지점과 한계
성능 양상은 방식마다 다르다. 파이프라인 병렬화의 디코딩 속도는 레이어를 여전히 순차 평가하므로 단일 머신과 비슷하지만, 65,536토큰 같은 초대형 컨텍스트의 프리필 단계에서는 컨텍스트를 8,192토큰 단위로 쪼개 겹쳐 처리하면서 단일 노드보다 최대 약 1.8배 빨라졌다. 텐서 병렬화는 밀집 구조 모델일수록 머신을 늘릴 때 확장성이 좋았다. 다만 Muse Spark Open은 전문가 출력의 별도 정규화 때문에 프리필 통신이 늘어, 두 대 환경의 초대형 컨텍스트에서는 텐서 병렬화가 파이프라인 병렬화보다 뒤처졌다. 이 역전은 4대로 늘리면 해소되며, 디코딩 속도는 영향을 받지 않았다. 케이블 수의 효과도 측정됐는데, 4대 M5 Ultra에서 65,536토큰 기준 TTFT가 한 가닥 약 50.5초에서 두 가닥 약 40.6초로 단축됐다.
활용 측면에서는 mlx_lm.server로 로컬 LLM 서버를 띄운 뒤 OpenCode 같은 도구를 연결해 에이전트형 코딩 환경을 구성하는 경로가 제시됐다. 서버 실행 역시 mlx.launch를 앞에 붙이면 여러 맥에 걸쳐 병렬화할 수 있다. 다만 이 모든 수치는 애플이 자체 mlx_lm.benchmark 도구로 특정 하드웨어 조합에서 측정한 결과라는 점을 염두에 둘 필요가 있다. 뉴럴 가속기, 썬더볼트 RDMA, 512GB 통합 메모리라는 최신 구성요소가 맞물려야 성립하는 성능이며, 구형 장비나 적은 메모리에서는 재현되기 어렵다. 결국 이번 발표의 의미는 특정 벤치마크 숫자보다, 외부로 데이터를 내보내지 않는 사적 환경에서 거대 모델을 실험·운용할 수 있는 길이 데스크톱 단위로 열렸다는 점에 있다. 애플은 관련 연구를 4월 리우데자네이루에서 열리는 ICLR 2026에서 공유할 예정이다.