애플 실리콘 맥을 쓰고 계신다면 반가울 소식인데요. 최신 오픈 모델들을 맥에서 바로 돌릴 수 있게 해주는 'Nativ'라는 앱이 나왔어요. 만든 사람이 프린스 카누마(Prince Canuma)라는 개발자인데, 애플의 머신러닝 프레임워크 MLX 생태계에서 mlx-vlm(비전 모델), mlx-audio(음성 모델) 같은 핵심 라이브러리를 만들어온, 이 동네에서는 꽤 알려진 인물이거든요. 그런 사람이 직접 만든 로컬 LLM 앱이라 기대해볼 만해요.
로컬 LLM이 뭐냐면요
보통 ChatGPT나 Claude를 쓸 때는 내 질문이 인터넷을 타고 회사 서버로 가서, 거기서 답을 계산해 돌려받는 구조잖아요. 로컬 LLM은 반대로 모델 파일 자체를 내 컴퓨터에 다운로드해서, 내 컴퓨터의 칩으로 직접 답을 계산하는 방식이에요. 장점이 분명해요. 첫째, 내 데이터가 컴퓨터 밖으로 한 발짝도 안 나가요. 회사 코드나 민감한 문서를 다뤄야 할 때 결정적인 장점이죠. 둘째, API 요금이 없어요. 전기값만 내면 무제한이에요. 셋째, 비행기 안에서도, 인터넷이 끊겨도 돌아가요. 단점은 당연히 내 컴퓨터 성능만큼만 똑똑하다는 건데, 요즘은 오픈 모델 성능이 워낙 좋아져서 이 단점이 빠르게 줄고 있어요.
왜 하필 맥이냐면요
여기서 MLX 이야기를 해야 하는데요. MLX가 뭐냐면, 애플이 직접 만든 애플 실리콘 전용 머신러닝 프레임워크예요. 애플 실리콘의 비밀 무기는 '통합 메모리(unified memory)' 구조거든요. 일반 PC는 CPU가 쓰는 메모리(RAM)와 GPU가 쓰는 메모리(VRAM)가 분리돼 있어서, 큰 모델을 돌리려면 비싼 고용량 VRAM 그래픽카드가 필요해요. 그런데 맥은 CPU와 GPU가 하나의 메모리를 통째로 같이 써요. 그래서 램 64GB짜리 맥이면 그 메모리 대부분을 모델에 쓸 수 있는 거예요. 게이밍 GPU로는 어림도 없는 크기의 모델이 맥북에서 돌아가는 이유가 이거죠. MLX는 이 구조를 최대한 활용하도록 설계된 프레임워크고, Nativ는 그 MLX를 기반으로 최신 오픈 모델을 쉽게 받아서 돌리게 해주는 앱인 거예요.
여기에 양자화(quantization)라는 기술이 더해져요. 이게 뭐냐면, 모델을 이루는 숫자의 정밀도를 낮춰서 용량을 확 줄이는 압축 기술이에요. 예를 들어 16비트로 저장된 모델을 4비트로 줄이면 용량이 대략 4분의 1이 돼요. 품질이 약간 떨어지지만 체감상 큰 차이가 없는 수준으로요. 덕분에 원래는 서버급 장비가 필요한 모델도 일반 맥북에서 돌릴 만한 크기로 들어오는 거예요.
Ollama, LM Studio랑 뭐가 다르냐면
로컬 LLM 도구는 이미 여럿 있어요. 가장 유명한 Ollama는 llama.cpp 기반이라 윈도우, 리눅스까지 다양한 플랫폼을 지원하는 게 강점이고, LM Studio는 친절한 GUI로 인기가 많죠. Nativ의 포지션은 '맥 전용, MLX 네이티브'예요. 범용성을 포기하는 대신 애플 실리콘에서 최고의 성능을 뽑고, MLX 생태계 핵심 기여자가 직접 만드는 만큼 새로 나오는 오픈 모델을 빠르게 지원하는 걸 강점으로 내세워요. DeepSeek이나 Qwen, Kimi 같은 대형 오픈 모델이 쏟아지는 요즘, '나온 날 바로 맥에서 돌려보기'가 가능한 도구라는 거죠.
한국 개발자에게는요
국내 개발자 중에 M 시리즈 맥 쓰는 분들 정말 많잖아요. 대략의 감을 드리면, 램 16GB면 7~8B급 모델, 32GB면 30B급 양자화 모델, 64GB 이상이면 70B급까지도 노려볼 수 있어요. 사내 보안 정책 때문에 외부 AI 서비스를 못 쓰는 환경이라면 로컬 모델이 현실적인 대안이 되고요. 코드 자동완성이나 문서 요약 정도는 로컬 모델로도 충분히 쓸 만한 시대가 됐거든요. Nativ 같은 도구로 진입장벽 없이 시작해보기 좋은 타이밍이에요.
정리하면요
'좋은 오픈 모델 + 애플 실리콘 + MLX' 조합으로 로컬 AI의 문턱이 또 한 번 낮아졌어요. 여러분 맥 사양으로는 어떤 모델까지 돌려보셨어요? 로컬 LLM, 실무에서 쓸 만하다고 느끼셨는지 경험담이 궁금해요.
🔗 출처: Hacker News