휴대폰에서 돌아가는 LLM, 어떻게 벤치마킹하나 — 8GB 안에 들어가는 '작은 모델'의 기준

클라우드 API 호출 없이 스마트폰 자체에서 언어 모델을 구동하는 온디바이스 추론은 지난 몇 년간 꾸준히 현실화되어 왔지만, 정작 '어느 모델이 얼마나 빠르고 똑똑한가'를 공정하게 비교할 기준은 부족했다. 벤치마크 조직 Artificial Analysis가 공개한 모바일 추론 벤치마크는 이 공백을 겨냥한다. 이들은 휴대용 하드웨어에 실제로 올릴 수 있는 소형 모델을 대상으로, 지능(intelligence)·출력 속도·지연 시간(latency)·메모리 사용량을 함께 측정한다. 실측 추론 데이터는 Liquid AI와 협력해 실제 기기 위에서 수집하며, Artificial Analysis는 Liquid AI의 측정 과정을 독립적으로 검증했다고 밝혔다.

'작은 모델'을 정의하는 방식

이 벤치마크에서 가장 실무적으로 중요한 부분은 '작다'는 말의 정의다. 여기서 소형 모델이란 양자화(quantization) 이후 8GB 메모리 안에 들어가는 모든 모델을 뜻하며, 이 8GB에는 8K 컨텍스트 기준의 KV 캐시까지 포함된다. 이 기준은 단순히 모델 가중치 파일 크기만 보는 흔한 방식과 다르다. 실제 추론 시에는 가중치뿐 아니라 대화가 길어질수록 늘어나는 KV 캐시가 메모리를 함께 점유하기 때문이다. 8K 컨텍스트의 KV 캐시까지 예산에 넣었다는 것은, 벤치마크가 '모델을 로드할 수 있느냐'가 아니라 '실제로 어느 정도 길이의 입력을 처리하며 굴릴 수 있느냐'를 기준으로 삼았다는 의미다. 온디바이스 환경에서 메모리는 가장 먼저 부딪히는 벽이므로, 이 정의는 실무자가 자신의 기기 등급에 맞는 모델을 고를 때 곧바로 참고할 수 있는 실질적인 상한선이 된다.

지능과 속도를 나눠서 본다

지능 점수는 모바일 기기의 실제 사용 상황을 대표하도록 고른 다섯 개 평가의 단순 평균으로 산출된다. 각 평가는 Artificial Analysis가 개별적으로 독립 측정하며, 이렇게 나온 값이 자사의 Intelligence Index로 이어진다. 다섯 개 평가를 하나의 평균으로 압축하는 방식은 해석을 단순하게 해주지만, 동시에 특정 과제(예: 코드 생성이나 다국어 처리)에서의 강점과 약점이 평균 속에 묻힐 수 있다는 점은 감안해야 한다. 종합 인덱스로 전체 순위를 잡되, 자신이 실제로 쓰려는 용도에 해당하는 개별 평가를 따로 확인하는 접근이 안전하다.

지연 시간은 별도의 명확한 정의를 갖는다. 1,024토큰짜리 프롬프트를 처리하고 256토큰의 응답을 생성하는 데 걸리는 전체 벽시계 시간(wall-clock time)이다. 중요한 것은 이 수치가 하드웨어와 모델 아키텍처에 근본적으로 좌우되는 값이라는 점이다. 즉 모델이 얼마나 장황하게 답하는지, 몇 번의 턴을 소비하는지 같은 행동적 요인은 이 측정에서 배제된다. 덕분에 '이 모델이 이 칩에서 얼마나 빠른가'라는 순수한 성능 비교가 가능해지지만, 반대로 실제 사용자가 체감하는 응답 완료 시간은 모델의 수다스러움에 따라 더 길어질 수 있다는 뜻이기도 하다.

실무자에게 주는 함의와 한계

국내 실무자 관점에서 이 벤치마크의 가치는 두 가지다. 첫째, 온디바이스 모델 선택을 '감'이 아니라 통제된 수치로 접근할 근거를 준다. 8GB·8K 컨텍스트라는 메모리 예산, 그리고 프롬프트·응답 길이를 고정한 지연 측정은 서로 다른 모델을 같은 조건에서 비교할 수 있게 한다. 둘째, 지능과 속도를 분리해 제시하기 때문에 '조금 더 똑똑하지만 느린 모델'과 '가볍고 빠른 모델' 사이의 트레이드오프를 명시적으로 저울질할 수 있다.

다만 한계도 분명하다. 실측 추론 데이터가 Liquid AI와의 협력으로 수집된다는 점은, 독립 검증 절차를 거쳤다 하더라도 측정 대상 기기와 실행 스택이 특정 파트너 환경에 맞춰져 있을 가능성을 남긴다. 또한 하나의 8K 컨텍스트, 1,024/256토큰이라는 단일 시나리오는 짧은 질의응답에는 잘 맞지만, 긴 문서 요약처럼 컨텍스트가 크게 늘어나는 작업의 특성까지 대변하지는 못한다. 배터리 소모나 발열, 지속 부하 시의 성능 저하(thermal throttling) 같은 모바일 특유의 변수도 이 지표만으로는 드러나지 않는다. 따라서 이 벤치마크는 후보군을 좁히는 출발점으로 삼되, 실제 배포 전에는 자사가 목표로 하는 기기와 실제 사용 패턴 위에서 재검증하는 과정이 여전히 필요하다.