맥 스튜디오 몇 대로 거대 모델을 돌린다고요?
Apple 머신러닝 연구 블로그에 흥미로운 글이 올라왔어요. Apple의 머신러닝 프레임워크 MLX로 Mac Studio 여러 대를 하나로 묶어서 대형 언어 모델을 돌리는 분산 추론 이야기인데, 시연에 쓴 모델이 Muse Spark Open이에요. Muse Spark는 Meta Superintelligence Labs가 올해 선보인 Muse 계열 모델인데요, 이름에 붙은 Open이 말해주듯 직접 내려받아 돌릴 수 있는 버전을 Apple 하드웨어에 올린 거예요. 데이터센터 GPU 없이, 책상 위 맥 몇 대로 최신 대형 모델을 로컬에서 돌린다는 게 핵심이죠.
왜 하필 맥일까: 통합 메모리
MLX는 Apple이 2023년 말에 공개한 오픈소스 배열 프레임워크예요. NumPy나 PyTorch와 비슷하게 생겼지만, Apple Silicon의 통합 메모리(Unified Memory)를 제대로 활용하도록 설계됐어요.
통합 메모리가 뭐냐면, CPU와 GPU가 같은 메모리를 함께 쓰는 구조예요. 일반 PC는 시스템 RAM과 GPU의 VRAM이 따로 있어서 모델을 VRAM에 올려야 하는데, 소비자용 GPU의 VRAM은 보통 16~32GB 수준이거든요. 반면 M3 Ultra를 단 Mac Studio는 최대 512GB 메모리를 GPU가 통째로 쓸 수 있어요. 대형 모델 추론에서 가장 먼저 부딪히는 벽이 ‘모델이 메모리에 안 들어간다’는 건데, 맥은 그 벽을 훨씬 높은 곳까지 밀어 올려준 셈이죠. 그래도 파라미터가 1조 개쯤 되는 모델은 4비트로 압축해도 가중치만 500GB가 넘어요. 그래서 여러 대를 묶어야 해요.
모델을 나누는 두 가지 방법
① 파이프라인 병렬화: 모델의 층(layer)을 순서대로 잘라서 기기마다 나눠 맡겨요. 1번 맥이 앞쪽 층을, 2번 맥이 뒤쪽 층을 처리하는 공장 조립 라인 같은 방식이에요. 기기끼리 주고받는 데이터가 적어서 구현이 쉬워요. 그런데 한 사람이 대화할 때는 한 번에 한 기기만 일하니까, 더 큰 모델을 올릴 수는 있어도 속도는 거의 안 빨라져요.
② 텐서 병렬화: 각 층 안에 있는 거대한 행렬 자체를 쪼개서 모든 기기가 동시에 계산해요. 속도는 빨라지지만, 층마다 all-reduce(각 기기의 부분 결과를 모아 더한 뒤 모두에게 다시 나눠주는 통신)를 해야 해요. 그래서 기기 사이의 통신 지연 시간이 성능을 좌우해요.
Thunderbolt 5 RDMA가 판을 바꿔요
Apple은 macOS 26.2부터 Thunderbolt 5를 통한 RDMA를 지원하기 시작했어요. RDMA(Remote Direct Memory Access)는 한 컴퓨터가 운영체제를 거의 거치지 않고 상대 컴퓨터 메모리에 직접 데이터를 쓰는 기술이에요. 편지를 우체국(TCP/IP 스택)에 맡기는 대신 옆자리 동료 책상에 바로 올려놓는 느낌이죠. 덕분에 지연 시간이 크게 줄어서, 맥 클러스터에서도 텐서 병렬화를 현실적으로 쓸 수 있게 됐어요.
MLX에서 분산 통신 코드는 이렇게 생겼어요.
import mlx.core as mx
group = mx.distributed.init()
x = mx.ones((4,))
total = mx.distributed.all_sum(x) # 모든 기기의 x를 합산
print(group.rank(), group.size(), total)
mlx.launch 명령으로 여러 호스트에서 같은 스크립트를 실행하면 되고, 통신 백엔드는 MPI, TCP 기반 ring, RDMA 기반 중에서 환경에 맞게 고르면 돼요.
업계 맥락
맥을 묶어 대형 모델을 돌리려는 시도는 전에도 있었어요. 오픈소스 프로젝트 exo가 맥 여러 대로 DeepSeek 같은 초대형 모델을 돌리는 시연을 했고, llama.cpp에도 연산을 원격 기기에 나눠 맡기는 기능이 있죠. 이번에 다른 점은 Apple이 OS와 프레임워크 차원에서 공식 경로를 깔아줬다는 거예요.
경쟁 기기로는 NVIDIA DGX Spark나 AMD Ryzen AI Max 계열 미니 PC처럼 128GB급 통합 메모리를 내세운 제품들이 있어요. 메모리 용량과 대역폭(M3 Ultra 기준 초당 800GB 이상)은 맥이 앞서고, 연산 성능은 NVIDIA가 강해요. 그래서 맥은 긴 프롬프트를 읽는 단계(prefill)는 느리지만 토큰을 하나씩 생성하는 단계(decode)는 꽤 빠른 편이에요. 게다가 요즘 대형 오픈 모델 상당수가 MoE(토큰마다 일부 전문가 네트워크만 활성화하는 구조)예요. 메모리는 많이 먹는데 토큰당 연산은 적은 구조라서 맥과 궁합이 잘 맞아요.
한국 개발자에게 주는 시사점
망분리나 보안 정책 때문에 외부 LLM API를 쓰기 어려운 금융, 공공, 대기업 환경이라면 눈여겨볼 만해요. GPU 서버보다 초기 비용, 전력, 소음 부담이 작고 사무실 한쪽에 둘 수도 있으니까요. 다만 동시 사용자가 많은 서비스보다는 소규모 팀의 사내 추론 서버나 연구용에 더 잘 맞아요.
개인 개발자라면 맥 한 대에서 mlx-lm으로 양자화된 모델을 돌려보는 것부터 시작해보세요. Hugging Face의 mlx-community에 변환된 모델이 많이 올라와 있어요. 그리고 파이프라인 병렬화와 텐서 병렬화 개념은 vLLM 같은 GPU 서빙 프레임워크에서도 그대로 쓰이니까, 지금 익혀두면 두고두고 써먹을 수 있어요.
마무리
한 줄 정리: ‘거대 모델은 데이터센터에서만 돌린다’는 공식이 책상 위 맥 클러스터 때문에 조금씩 깨지고 있어요.
여러분이라면 수천만 원을 들여 맥 스튜디오 클러스터를 꾸리시겠어요, 아니면 클라우드 GPU를 시간 단위로 빌리시겠어요? 사내에서 로컬 LLM을 운영해본 경험이 있다면 공유해주세요.
🔗 출처: Hacker News