램 2GB로 26B 모델을 돌린다고? 맥에서 LLM을 ‘흘려보내며’ 실행하는 오픈소스 엔진

LLM을 로컬에서 돌려본 분이라면 다들 아는 공식이 있어요. 모델의 파라미터(가중치) 하나가 16비트 부동소수점이면 2바이트니까, 260억 개(26B) 파라미터 모델은 대략 52GB 메모리가 필요해요. 4비트로 양자화해도 13~16GB는 있어야 하고요. 양자화(quantization)가 뭐냐면, 가중치 숫자 하나하나를 더 적은 비트로 뭉뚱그려 저장해서 용량을 줄이는 압축 기술이에요. 그런데 GitHub에 turbo-fieldfare라는 오픈소스 엔진이 공개됐는데, 구글의 오픈 모델 Gemma 4 26B를 램 2GB로, 그것도 아무 M시리즈 맥에서나 돌린다고 해요. 상식적인 계산과 10배 가까이 차이 나는 숫자죠. 어떻게 가능한 걸까요?

비결은 “전부 올리지 않기”

이 숫자가 성립하려면 방법은 사실상 하나뿐이에요. 모델 전체를 메모리에 올리지 않는 거예요. LLM의 구조를 떠올려보면 이해가 되는데요. LLM은 수십 개의 레이어(층)가 차곡차곡 쌓인 구조고, 입력이 1층부터 꼭대기 층까지 차례로 통과하면서 다음 토큰이 만들어져요. 그런데 3번째 레이어를 계산하는 순간에 실제로 필요한 건 3번째 레이어의 가중치뿐이거든요. 나머지 수십 개 레이어는 그 순간엔 놀고 있는 거예요.

그래서 이런 방식이 가능해요. 모델 파일은 디스크(SSD)에 통째로 두고, 계산할 차례가 된 레이어만 그때그때 읽어와서 계산하고, 끝나면 버리는 거예요. 책 한 권을 통째로 외우는 대신 지금 읽을 페이지만 펼쳐 보는 것과 같은 거죠. 이러면 메모리에는 항상 한두 개 레이어의 가중치와 계산 중간 결과만 있으면 되니까, 26B 모델이라도 2GB 안에 들어올 수 있는 거예요.

이걸 뒷받침하는 OS 기능이 mmap(메모리 매핑)인데요. 이게 뭐냐면, 파일을 램으로 통째로 복사하는 대신 “파일이 메모리에 있는 것처럼” 주소만 걸어두고, 실제로 읽는 부분만 그 순간 디스크에서 가져오는 기능이에요. 그리고 이 방식이 하필 M시리즈 맥에서 잘 먹히는 이유가 있어요. 애플 실리콘 맥은 SSD가 초당 수 GB를 읽을 만큼 빠르고, CPU와 GPU가 같은 메모리를 공유하는 통합 메모리(unified memory) 구조라 데이터를 이리저리 복사하는 비용이 없거든요.

공짜 점심은 없다: 트레이드오프

물론 대가가 있어요. 토큰을 하나 만들 때마다 모델의 모든 레이어를 한 번씩 통과해야 하니까, 이 방식에선 토큰 하나당 모델 전체를 디스크에서 다시 읽는 셈이 돼요. 결국 생성 속도의 상한선을 GPU가 아니라 SSD 읽기 속도가 정하는 구조라, 램에 전부 올려놓고 돌리는 것보다 훨씬 느릴 수밖에 없어요. 그래서 이런 엔진은 실시간으로 대화를 주고받는 챗봇보다는 속도가 덜 중요한 작업에 어울려요. 실제 생성 속도나 세부 구현이 궁금하다면 저장소를 직접 확인해보시는 걸 추천해요.

비슷한 시도들과 비교하면

이 아이디어 자체가 완전히 새로운 건 아니에요. 로컬 LLM의 사실상 표준인 llama.cpp도 mmap으로 모델을 로딩해서 램이 부족해도 어느 정도 버티게 해주고요. AirLLM이라는 프로젝트는 레이어별 로딩으로 70B 모델을 4GB 램에서 돌리는 시도를 일찌감치 보여줬어요. 애플이 직접 만드는 ML 프레임워크 MLX도 통합 메모리를 활용한 효율적인 추론에 공을 들이고 있고요. 이 프로젝트는 그 흐름 위에서 “메모리 최소화”라는 축을 극단까지 밀어붙인 사례라고 보면 돼요. 큰 그림에서 보면, API 비용과 프라이버시 걱정 없이 내 컴퓨터에서 모델을 돌리려는 로컬 LLM 흐름이 “더 좋은 GPU를 사자”에서 “지금 있는 하드웨어의 한계를 소프트웨어로 뚫자”로 진화하고 있는 거예요.

한국 개발자에게 주는 시사점

가장 실용적인 의미는 진입 장벽이 내려간다는 거예요. 8GB 램 맥북에어처럼 평범한 사양에서도 26B급 모델을 굴려볼 수 있다는 뜻이거든요. 밤새 돌려두는 문서 요약 배치 작업, 데이터 라벨링, 사내 문서 분류처럼 응답 속도가 중요하지 않은 일에는 이런 방식이 실제로 쓸모가 있어요. 민감한 데이터를 외부 API로 못 보내는 환경이라면 더더욱요. 그리고 설령 이 엔진을 안 쓰더라도, 여기 담긴 원리들, 그러니까 양자화, mmap, 레이어 스트리밍은 온디바이스 AI 시대에 두고두고 나오는 개념이라 이번 기회에 익혀두면 남는 게 많아요.