책상 서랍이나 거실 한구석에 방치된 기기들은 대부분 보이는 것보다 성능이 좋다. TV 셋톱박스, 오래된 스마트폰, 싱글보드 컴퓨터, 공유기에는 하루 대부분을 놀고 있는 CPU와 RAM, 플래시 메모리가 들어 있다. 'smolmaxxing'이라는 공개 프로젝트는 바로 이 유휴 자원을 파고든다. 각 기기가 실제로 돌릴 수 있는 가장 큰 언어 모델을 찾아내고, 커스텀 커널과 메모리 관리 기법, 가중치 스트리밍으로 한계를 더 밀어붙인다. 핵심은 모든 주장을 해당 하드웨어에서 직접 측정했다는 점이며, E1부터 E160까지 실험 단위로 기록을 남겼다.
첫 번째 대상은 샤오미 TV 박스 S 3세대다. Amlogic S7D에 Cortex-A55 코어 4개(2.5GHz), 1.9GB RAM(실사용 약 1GB), eMMC 플래시, 루팅되지 않은 안드로이드 14가 올라가 있다. 이 평범한 셋톱박스에서 26만 파라미터짜리부터 160억 파라미터 모델까지 구동했다. 두 번째 대상은 더 극적이다. 2013년에 나온 1세대 아이패드 에어로, 2코어 Apple A7에 dotprod 명령어가 없는 구형 NEON, 1GB RAM, iOS 12.5.7, 탈옥 상태에서 CPU만으로 돌린다. 13년 된 이 태블릿이 17억 파라미터 모델을 초당 24~26토큰(긴 대화에서는 18~22)으로, 40억 모델을 약 10토큰, 80억 MoE 모델을 약 3.5토큰, 160억 모델을 2.6~4.5토큰으로 생성한다. 그것도 자체 사파리의 채팅 페이지에서 작동한다.
진짜 병목은 CPU가 아니라 플래시다
이 프로젝트가 흥미로운 이유는 성능 자랑이 아니라 병목을 정직하게 측정했다는 데 있다. TV 박스에서 한 프로세스는 안드로이드가 강제 종료를 시작하기 전까지 약 0.96GB(런처와 구글 서비스를 강제 종료한 헤드리스 모드에서는 약 1.15GB)만 점유할 수 있고, 플래시 읽기 속도는 초당 278MB에서 막힌다. 토큰 하나당 X MB를 스트리밍해야 하는 모델은 278을 X로 나눈 값 이상의 속도를 결코 낼 수 없다는 단순한 물리 법칙이 성립한다. 2B를 넘는 모든 모델의 속도를 제한하는 것은 CPU가 아니라 바로 이 플래시 대역폭이다.
이 한계를 넘는 해법이 전문가 혼합(MoE) 구조다. 80억 파라미터 모델이라도 토큰마다 실제로 건드리는 가중치는 약 10억 개뿐이기 때문이다. 다만 공짜는 아니다. Moon-Beam 모델은 토큰당 전문가를 2개만 쓰면 초당 10.4토큰까지 올라가지만 출력이 횡설수설로 무너졌고, 일관성을 유지하는 최적점은 7~8토큰 수준이었다. 이처럼 속도와 품질, 메모리는 끊임없이 맞교환된다. 품질은 고정된 22KB 영문 텍스트의 퍼플렉시티를 토크나이저가 달라도 공평하게 비교할 수 있도록 바이트당 비트로 환산해 쟀다. 모델이 크다고 무조건 좋은 것도 아니어서, Ling-mini-2.0은 Moon-Beam의 두 배 크기지만 바이트당 점수가 더 나쁘고 속도도 느렸다.
2013년 아이패드를 구동시킨 우회 기법들
아이패드 쪽 제약은 더 까다롭다. iOS 12는 한 프로세스가 매핑할 수 있는 주소 공간을 약 1.7GB로 제한하기 때문에, 2.6GB나 5.5GB짜리 모델 파일은 토큰을 하나 생성하기도 전에 로딩 자체가 실패한다. 이를 우회하기 위해 모델 파일을 재작성해 전문가 가중치를 맨 뒤로 몰고, 앞쪽 474MB만 매핑한 뒤 각 레이어에서 14개 전문가만 RAM에 두고 나머지는 라우터가 선택할 때마다 pread로 플래시에서 읽어 온다. 그 결과는 전체를 올린 모델과 정확히 일치했다. 여기에 이미 RAM에 있는 전문가 쪽으로 라우팅을 살짝 편향시키고, 읽기를 필요 시점순으로 큐에 넣고, 다음 레이어 전문가를 미리 가져오고, 사용 빈도 감쇠 기준으로 교체하는 식으로 다듬어 80억 모델을 초당 3.5토큰까지 끌어올렸다. 이는 밀집형 8B를 그대로 돌릴 때의 40배에 해당한다. Bonsai-1.7B 역시 같은 모델 파일로 어텐션 최적화만으로 초당 2.75토큰에서 약 25토큰까지 올렸다.
한국의 실무자에게 이 작업이 주는 함의는 분명하다. 엣지나 온프레미스 환경에서 '모델보다 RAM이 작은' 상황은 흔하며, 이때 중요한 것은 더 빠른 칩이 아니라 메모리 셀링과 스토리지 대역폭을 정확히 계산하는 일이다. 저자가 공개한 1비트 룩업테이블 커널은 기본 NEON만 있으면 되고, dotprod를 지원하는 ARM 칩은 다른 커널을, RAM보다 큰 모델을 올려야 하는 리눅스·안드로이드 기기는 스트리밍 엔진을 쓸 수 있다. 특정 기기에 묶인 기법이 아니라 이식 가능한 자산이라는 뜻이다. MIT 라이선스로 공개된 llama.cpp 패치와 재현용 빌드 스크립트가 함께 제공되는 점도 실험을 그대로 따라가 볼 여지를 남긴다.
다만 한계는 솔직하게 받아들여야 한다. Bonsai는 1비트 양자화 모델이라 여전히 사실을 틀리게 말하고(한 테스트에서는 수성을 지구에서 가장 가까운 행성이라고 답했다), 아이패드에서는 약 700MB가 사실상의 메모리 상한이라 4B 모델은 컨텍스트를 512토큰으로 줄여야 한다. 탈옥 상태는 재부팅하면 풀리고, 빠른 출력 헤드는 매 실행 후 첫 프롬프트에 2~3초를 더한다. 결국 이 프로젝트가 증명하는 것은 구형 기기에서 대형 LLM이 실용적이라는 결론이 아니라, 하드웨어의 물리적 한계를 하나하나 측정해 어디까지 밀 수 있는지를 보여 주는 정직한 공학의 사례다.