아이폰과 맥북에서 대형 AI 모델을 돌린다? SwiftLM의 TurboQuant 압축 기술 살펴보기

로컬 AI, 점점 현실이 되고 있어요

요즘 AI 모델을 클라우드 API 없이 내 기기에서 직접 돌리는 "로컬 AI" 흐름이 점점 거세지고 있어요. 프라이버시 걱정 없이, 인터넷 연결 없이도, API 비용 없이 AI를 쓸 수 있다는 건 정말 매력적이거든요. 문제는 대형 언어 모델(LLM)이 너무 크다는 거예요. 수십 GB에 달하는 모델을 아이폰이나 맥북의 제한된 메모리에 어떻게 올리느냐가 핵심 과제인데요.

SwiftLM이라는 오픈소스 프로젝트가 이 문제에 대해 흥미로운 해법을 내놨어요. TurboQuant이라는 KV 캐시 압축 기술과 SSD Expert Streaming이라는 기법을 결합해서, Apple M5 Pro 같은 칩과 iOS 기기에서 대형 모델을 효율적으로 실행할 수 있게 만든 거예요.

TurboQuant KV 압축이 뭔가요?

먼저 KV 캐시가 뭔지부터 설명할게요. 대형 언어 모델이 텍스트를 생성할 때, 이전에 처리한 토큰들의 정보를 기억해둬야 해요. 이때 Key와 Value라는 두 종류의 벡터를 저장하는데, 이걸 KV 캐시라고 불러요. 긴 대화를 나눌수록 이 캐시가 커지면서 메모리를 엄청 많이 잡아먹게 되거든요.

TurboQuant은 이 KV 캐시를 양자화(quantization)하는 기술이에요. 양자화라는 건 쉽게 말해 숫자의 정밀도를 낮추는 거예요. 예를 들어 32비트 부동소수점으로 저장하던 값을 4비트나 2비트로 줄이는 거죠. 마치 고화질 사진을 적당히 압축해도 눈으로 보기에는 큰 차이가 없는 것처럼, 모델의 중간 계산값도 적절히 압축하면 결과 품질에 큰 영향 없이 메모리 사용량을 확 줄일 수 있어요.

TurboQuant의 핵심은 단순히 비트 수만 줄이는 게 아니라, 어떤 값이 중요한지 판단해서 선택적으로 압축한다는 거예요. 모든 어텐션 헤드(attention head)가 동일하게 중요하지 않거든요. 중요한 헤드는 높은 정밀도를 유지하고, 덜 중요한 헤드는 과감하게 압축하는 방식으로 품질과 효율의 균형을 잡아요.

SSD Expert Streaming은 또 뭔가요?

이 부분이 특히 재밌는데요. 최근 대형 모델들은 MoE(Mixture of Experts) 구조를 많이 써요. 이게 뭐냐면, 모델 안에 여러 "전문가(expert)" 네트워크가 있고, 입력에 따라 그중 일부만 활성화되는 구조예요. 전체 모델은 크지만 실제로 한 번에 쓰는 부분은 일부분이라 효율적이죠.

문제는 이 전문가 네트워크 전체를 메모리에 올려놓기에는 기기의 RAM이 부족하다는 거예요. SwiftLM의 SSD Expert Streaming은 이걸 해결하기 위해 자주 안 쓰는 전문가 네트워크는 SSD(저장장치)에 두고, 필요할 때만 메모리로 불러오는 방식을 써요.

이건 운영체제에서 말하는 가상 메모리(virtual memory)와 비슷한 개념이에요. RAM이 부족하면 디스크를 보조 기억장치로 쓰는 것처럼, 모델의 일부분을 SSD에 두고 필요할 때 스왑하는 거죠. Apple 기기의 NVMe SSD가 꽤 빠르기 때문에, 적절히 프리페칭(미리 읽기)을 하면 사용자가 느끼는 지연이 크지 않다는 거예요.

특히 Apple Silicon의 통합 메모리 아키텍처(Unified Memory Architecture)가 이 작업에 유리해요. CPU와 GPU가 메모리를 공유하니까 데이터를 복사하는 오버헤드가 적거든요. SwiftLM은 이 하드웨어 특성을 적극 활용해서 Apple 기기에 최적화된 성능을 끌어내고 있어요.

비슷한 프로젝트들과 비교하면?

Apple 기기에서 LLM을 돌리는 프로젝트는 이미 여러 개 있어요. llama.cpp가 가장 유명하죠. C/C++로 작성돼서 다양한 플랫폼을 지원하고, 양자화 기능도 잘 갖추고 있어요. MLX는 Apple이 직접 만든 머신러닝 프레임워크로, Apple Silicon에 최적화돼 있고요.

SwiftLM이 차별화되는 지점은 Swift로 작성되어 iOS와 macOS 앱에 직접 통합하기 쉽다는 것, 그리고 KV 캐시 압축과 SSD 스트리밍이라는 두 가지 최적화를 결합해서 기존 도구들보다 더 큰 모델을 제한된 하드웨어에서 돌릴 수 있다는 점이에요. 특히 iOS 앱 개발자 입장에서는 Swift 네이티브 라이브러리가 통합하기 훨씬 편하겠죠.

한국 개발자에게 주는 시사점

한국은 아이폰 사용 비율이 꽤 높은 시장이에요. 그리고 개인정보 보호에 대한 관심도 높아지고 있죠. 만약 AI 기능을 앱에 넣고 싶은데 사용자 데이터를 외부 서버로 보내고 싶지 않다면, SwiftLM 같은 온디바이스 AI 솔루션이 매력적인 선택지가 될 수 있어요.

특히 챗봇, 문서 요약, 번역 같은 기능을 오프라인에서도 동작하게 만들 수 있다는 건 UX 관점에서 큰 차별점이 되거든요. M 시리즈 맥북을 쓰는 개발자라면 로컬에서 AI 모델을 빠르게 프로토타이핑하는 데도 활용할 수 있고요.

마무리

SwiftLM의 TurboQuant과 SSD Expert Streaming은 "메모리가 부족하면 똑똑하게 압축하고, 그래도 부족하면 SSD를 활용하자"는 실용적인 접근이에요. 여러분은 온디바이스 AI가 클라우드 AI를 어느 정도까지 대체할 수 있다고 보시나요? 아니면 결국 하이브리드 방식이 답일까요?