클라우드 대신 '내 책상 위'에서 에이전트를 돌린다는 것
요즘 개발자들 사이에서 Claude Code나 Codex 같은 코딩 에이전트를 안 써 본 사람이 드물죠. 그런데 이런 도구는 대부분 클라우드에 있는 모델을 API로 호출해요. 그러다 보니 토큰 비용이 계속 나가고, 회사 코드가 외부로 나간다는 부담도 있고요. 그래서 '오픈 웨이트 모델을 내 컴퓨터에서 돌려서 에이전트를 만들면 안 되나?'라는 생각을 하게 되는데, 여기서 늘 부딪히는 벽이 하나 있어요. 바로 메모리예요.
맥스토리즈(MacStories)의 M5 Ultra 맥 스튜디오 리뷰는 정확히 이 지점을 파고들어요. 제목부터 '로컬 AI 에이전트를 위한 꿈의 맥'인데, 게임이나 영상 편집이 아니라 '내 책상 위에서 여러 개의 AI 에이전트를 동시에 돌리는 용도'로 이 기계를 평가한 게 신선해요. 왜 하필 맥 스튜디오가 이 용도에 잘 맞는지, 그 이유를 하나씩 풀어볼게요.
통합 메모리가 왜 그렇게 중요할까요
먼저 통합 메모리(Unified Memory)가 뭐냐면, CPU와 GPU가 하나의 메모리 풀을 같이 쓰는 구조예요. 일반 PC는 CPU용 RAM과 GPU용 VRAM이 따로 있잖아요. 언어 모델을 빠르게 돌리려면 모델 전체가 GPU 메모리 안에 들어가야 하는데, 소비자용 최상급 그래픽카드인 RTX 5090도 VRAM이 32GB예요. 700억 파라미터짜리 모델을 4비트로 압축해도 40GB 안팎이니까 아예 못 올리는 거죠. 반면 맥 스튜디오 Ultra 계열은 수백 GB급 통합 메모리를 고를 수 있어서(이전 세대 M3 Ultra가 최대 512GB였어요), 큰 모델을 통째로 올리거나 중간 크기 모델을 여러 개 동시에 띄울 수 있어요.
두 번째는 메모리 대역폭이에요. 언어 모델이 답변을 한 토큰씩 뽑아내는 단계(디코드)는 계산보다 '메모리에서 가중치를 얼마나 빨리 읽어오느냐'에 속도가 좌우돼요. Ultra 칩은 Max 칩 두 개를 UltraFusion이라는 기술로 붙여서 만들기 때문에, 대역폭도 두 배 가까이 늘어나요. 그래서 같은 모델을 돌려도 맥북보다 토큰이 훨씬 빠르게 나와요.
그리고 M5 세대에서 새로 들어온 게 GPU 코어마다 박힌 뉴럴 액셀러레이터(Neural Accelerator)예요. 이건 행렬 곱셈을 전담하는 작은 회로인데요, 애플이 M5를 발표할 때 AI 작업에서 GPU 연산 성능이 M4 대비 최대 4배라고 강조했던 바로 그 부분이에요. 이게 왜 에이전트에 특히 중요하냐면, 에이전트는 코드베이스나 툴 실행 결과 같은 긴 텍스트를 계속 읽어들이거든요. 이 '프롬프트를 읽는 단계(프리필)'는 디코드와 달리 계산량이 병목이라서, 뉴럴 액셀러레이터가 있으면 에이전트가 생각을 시작하기까지의 대기 시간이 확 줄어요. 리뷰에 나오는 구체적인 속도 수치는 원문에서 직접 확인해 보시길 권하지만, 방향성은 명확해요. M5 Ultra는 메모리 용량, 대역폭, 프리필 연산 세 가지를 한꺼번에 끌어올린 맥이에요.
소프트웨어 쪽도 준비가 돼 있어요. 애플이 직접 만든 MLX 프레임워크가 애플 실리콘에 최적화돼 있고, LM Studio나 Ollama, llama.cpp 같은 도구가 이걸 바로 활용해요. Qwen이나 gpt-oss, GLM 같은 오픈 웨이트 모델을 받아서 OpenAI 호환 API로 띄우면, 기존 에이전트 도구의 엔드포인트만 바꿔서 로컬로 연결할 수 있죠. 리뷰가 그리는 그림은 이런 거예요. 맥 스튜디오 한 대가 조용히 책상 위에 앉아서 코딩 에이전트 하나, 문서 정리 에이전트 하나, 자동화 워크플로 하나를 동시에 돌리는데 팬 소리도 거의 안 나고 전기도 얼마 안 먹는 거요.
경쟁 제품들과 비교하면 어떨까요
이 시장에 맥만 있는 건 아니에요. 엔비디아는 DGX Spark라는 소형 AI 워크스테이션을 내놨는데, 128GB 통합 메모리에 CUDA 생태계를 그대로 쓸 수 있다는 게 강점이에요. AMD의 라이젠 AI Max+ 395(스트릭스 헤일로)를 쓴 프레임워크 데스크톱 같은 제품도 128GB 통합 메모리로 비슷한 포지션을 노리고 있고요. 그런데 이 둘은 메모리 대역폭이 맥 Ultra의 절반 이하 수준이라 큰 모델의 토큰 생성 속도에서 밀려요. 반대로 맥의 약점도 분명해요. CUDA가 없어서 학습이나 파인튜닝, 최신 연구 코드를 그대로 돌리기는 어렵고, 순수 연산 성능은 여전히 엔비디아 데이터센터 GPU와 비교할 수준이 아니에요. 그러니까 '추론 전용, 특히 큰 모델을 조용히 오래 돌리는 용도'에서 맥이 강하다고 보시면 정확해요.
한국 개발자에게 주는 시사점
한국에서 이 이야기가 특히 와닿는 곳은 코드 외부 반출이 막혀 있는 조직이에요. 금융권이나 대기업 SI, 공공 프로젝트처럼 클라우드 AI를 아예 못 쓰는 환경에서는 로컬 에이전트가 사실상 유일한 선택지거든요. 팀 공용으로 맥 스튜디오 한 대를 추론 서버로 두고 여러 명이 붙어 쓰는 패턴이 현실적인 출발점이 될 수 있어요. 개인 개발자라면 당장 Ultra까지 갈 필요는 없어요. M4 Pro나 M5 급 맥북에서 100억에서 300억 파라미터 모델로 에이전트를 만들어 보면서 워크플로를 먼저 익히고, 정말 큰 모델이 필요해질 때 올라가는 게 맞아요. 다만 원화 기준으로 Ultra 최상위 구성은 웬만한 중고차 값이라는 점은 꼭 감안하셔야 하고요.
정리하면
M5 Ultra 맥 스튜디오가 '꿈의 맥'이라고 불리는 건 단순히 빨라서가 아니라, 큰 메모리와 높은 대역폭에 프리필 가속까지 붙어서 로컬 에이전트 워크로드의 병목 세 개를 한 번에 풀었기 때문이에요.
여러분은 어떠세요? 토큰 비용과 보안을 생각하면 로컬 에이전트로 넘어갈 만하다고 보시나요, 아니면 아직은 클라우드 최상위 모델과의 품질 격차가 너무 커서 시기상조라고 보시나요?
🔗 출처: Hacker News