대형 언어모델(LLM) 질의는 지금도 대부분 중앙집중식 클라우드의 최전선(frontier) 모델이 처리한다. 그런데 수요 증가 속도가 사업자의 인프라 증설 속도를 앞지르면서 이 방식은 점점 부담이 커지고 있다. 최근 arXiv에 공개된 연구 'Intelligence per Watt'는 이 구조를 다시 생각할 두 가지 변화에 주목한다. 하나는 활성 파라미터 20B 이하의 작은 로컬 모델이 여러 작업에서 최전선 모델에 견줄 만한 성능을 내기 시작했다는 점이고, 다른 하나는 애플 M4 Max 같은 로컬 가속기가 이런 모델을 대화형 지연시간 안에서 구동할 수 있게 됐다는 점이다. 요컨대 노트북 같은 전력 제약 기기에서의 추론이 클라우드 수요의 일부를 실제로 넘겨받을 수 있느냐는 질문이 성립하게 됐다.
정확도만으로는 부족하다
이 질문에 답하려면 두 가지를 동시에 재야 한다. 로컬 모델이 실제 질의에 정확히 답하는가, 그리고 전력이 제한된 기기에서 그것을 효율적으로 해내는가다. 연구진은 이 둘을 묶는 단일 지표로 '와트당 지능(intelligence per watt, IPW)'을 제안한다. 단위 전력당 작업 정확도를 뜻하는데, 성능과 효율을 한 축에서 비교할 수 있다는 점이 핵심이다. 정확도가 아무리 높아도 전력을 과하게 쓰면 배터리로 움직이는 기기에서는 의미가 반감되고, 반대로 저전력이어도 답이 틀리면 쓸모가 없다. IPW는 이 두 조건을 하나의 숫자로 압축한다.
측정 규모는 작지 않다. 최신 로컬 모델 20종 이상, 로컬과 클라우드를 아우르는 하드웨어 가속기 8종, 그리고 100만 건의 실제 단일 턴 채팅·추론 질의를 대상으로 삼았다. 각 질의마다 정확도와 에너지, 지연시간, 전력을 함께 측정했다. 여기서 정확도는 절대 채점이 아니라 로컬 모델이 최전선 모델을 상대로 얼마나 이기는가(win rate)로 정의된다. 즉 '클라우드 모델을 대체할 수 있느냐'라는 실용적 기준에 맞춘 측정이다.
세 가지 결과
첫째, 로컬 모델은 이 질의의 88.7%에 성공적으로 답했다. 다만 정확도는 도메인에 따라 갈렸다는 단서가 붙는다. 둘째, 2023년부터 2025년까지의 추이를 보면 IPW가 5.3배 개선됐다. 알고리즘 발전과 가속기 발전이 함께 작용한 결과이며, 그 사이 로컬로 처리 가능한 질의 비중은 23.2%에서 71.3%로 올랐다. 불과 2년 만에 로컬이 감당하는 영역이 세 배 넘게 넓어진 셈이다. 셋째, 동일한 모델을 돌렸을 때 로컬 가속기의 IPW가 클라우드 가속기보다 최소 1.4배 낮았다. 로컬 하드웨어가 아직 효율 면에서 뒤처진다는 뜻이지만, 뒤집어 보면 로컬 가속기 최적화에 그만큼의 개선 여지가 남아 있다는 신호이기도 하다.
실무자에게 남는 함의
한국의 IT 실무자 관점에서 이 연구가 주는 시사점은 분명하다. 모든 워크로드를 클라우드 API로 보내는 것이 더 이상 유일한 정답이 아니라는 점이다. 상당수의 단순 채팅·추론 질의는 온디바이스나 사내 로컬 가속기로 넘겨 비용과 지연, 데이터 유출 위험을 함께 줄일 수 있는 시점에 접어들었다. 특히 도메인별 정확도 편차가 크다는 결과는, 워크로드를 라우팅할 때 '로컬이 잘 하는 영역'과 '여전히 클라우드가 필요한 영역'을 구분하는 하이브리드 설계가 현실적임을 시사한다.
동시에 한계도 분명히 읽어야 한다. 이 평가는 단일 턴 질의를 대상으로 했다. 긴 문맥을 이어가는 멀티턴 대화나 도구 호출, 대규모 문서 처리 같은 복잡한 작업이 로컬에서도 같은 효율을 낼지는 이 결과만으로 단정하기 어렵다. 정확도 기준이 최전선 모델과의 상대 승률이라는 점도 감안해야 한다. 비교 대상 모델이 달라지면 88.7%라는 숫자의 의미도 달라질 수 있기 때문이다.
그럼에도 IPW라는 지표가 던지는 메시지는 견고하다. 로컬 추론이 중앙집중 인프라의 수요 일부를 실질적으로 분산시킬 수 있는 단계에 이르렀고, 이 전환이 얼마나 진행됐는지 추적할 공통의 잣대가 필요하다는 것이다. 성능 벤치마크 점수만 좇던 관행에서 벗어나, 전력이라는 물리적 제약을 함께 놓고 모델과 하드웨어 조합을 평가하는 습관이 앞으로의 배포 의사결정에서 점점 더 중요해질 것으로 보인다.