무슨 일이 있었나
AI 이야기를 하면 늘 '더 큰 모델, 더 큰 데이터센터'로 흘러가잖아요. 그런데 스탠퍼드 연구진이 정반대 질문을 던진 논문을 냈어요. Hazy Research를 이끄는 크리스 레 교수 팀이 중심이고, 컴퓨터 구조 교과서로 유명한 존 헤네시도 저자에 이름을 올렸죠. 질문은 이거예요. '내 노트북에서 돌아가는 작은 모델이 실제 사용자 질문의 몇 퍼센트를 제대로 처리할 수 있고, 그때 전력은 얼마나 쓰는가?' 이걸 측정하기 위해 '와트당 지능(Intelligence per Watt, IPW)'이라는 지표를 제안했어요.
이게 뭐냐면: 와트당 지능
지표는 단순해요. 어떤 모델과 하드웨어 조합이 질문에 얼마나 잘 답하는지(정확도)를, 그 답을 만들기 위해 쓴 에너지로 나눈 값이에요. 자동차의 연비와 똑같은 개념이죠. 연료 1리터로 몇 km를 가느냐가 연비라면, 같은 전기로 얼마나 많은 '정답'을 만들어내느냐가 와트당 지능이에요. 이 지표가 좋은 이유는 파라미터 수 같은 스펙이 아니라, 사용자가 실제로 얻는 결과와 실제로 내는 비용(전기)을 직접 연결하기 때문이에요. 토큰 생성 속도만 보면 빠르지만 답이 엉망인 모델도 좋아 보이는데, IPW는 그런 착시를 걸러내요.
어떻게 측정했나
연구진은 실제 사용자들이 챗봇에 던진 질문 100만 개 규모의 데이터를 모았어요. 벤치마크용으로 만든 문제가 아니라 사람들이 진짜로 물어본 단일 턴 대화와 추론 질문들이죠. 그리고 20종 이상의 로컬용 모델, 그러니까 파라미터가 20B 이하여서 노트북이나 데스크톱에서 돌릴 수 있는 크기의 모델들을 애플 M 시리즈 칩, 엔비디아 소비자용 GPU 등 여러 가속기에서 돌리면서, 질문마다 답의 정확도와 소비 전력을 같이 기록했어요. 클라우드 쪽 비교 대상으로는 데이터센터용 GPU를 뒀고요. 이 측정 도구(프로파일링 하네스)도 공개해서 누구나 자기 장비로 같은 실험을 할 수 있게 했어요.
결과: 생각보다 로컬이 꽤 한다
핵심 숫자 세 가지만 기억하면 돼요.
첫째, 로컬 모델이 실제 질문의 약 89%를 정확하게 답할 수 있었어요. 뒤집어 말하면 열 개 중 아홉 개는 프론티어 모델을 부를 필요가 없었다는 뜻이죠. 물론 나머지 10% 남짓은 어려운 추론이나 긴 맥락이 필요한 질문이라 아직 큰 모델이 필요해요. 그런데 사람들이 챗봇에 묻는 질문의 대부분은 그렇게 어렵지 않다는 게 이 연구의 중요한 관찰이에요.
둘째, 2023년부터 2025년까지 2년 사이에 와트당 지능이 5배 이상 좋아졌어요. 모델이 작아지면서도 똑똑해진 것(증류, 더 좋은 학습 데이터)과 하드웨어가 효율화된 것이 곱해진 결과예요. 이 속도가 유지된다면 지금 클라우드로 보내는 질문의 상당 부분이 몇 년 안에 로컬로 내려올 수 있다는 이야기죠.
셋째, 그렇지만 로컬 가속기는 여전히 데이터센터 GPU보다 효율이 1.4배 정도 떨어져요. 데이터센터는 여러 사용자의 요청을 배치로 묶어 GPU를 꽉 채워 쓰는데, 노트북은 한 사람 요청을 하나씩 처리하니 하드웨어가 놀 때가 많거든요. 그래서 '로컬이 무조건 친환경'이라는 말은 아직 성립하지 않아요. 대신 쉬운 질문은 로컬에서 처리하고 어려운 것만 클라우드로 보내는 라우팅 구조가 에너지 관점에서 가장 합리적이라는 게 논문의 결론이에요.
업계 맥락
이 논문은 몇 가지 흐름이 만나는 지점에 있어요. 애플은 애플 인텔리전스에서 온디바이스 모델을 먼저 쓰고 안 되면 프라이빗 클라우드로 넘기는 구조를 이미 채택했고, 마이크로소프트의 코파일럿+ PC, 퀄컴과 인텔의 NPU 경쟁도 다 '로컬에서 얼마나 돌릴 수 있나'를 두고 벌어지는 싸움이죠. 모델 쪽에서는 Llama, Qwen, Gemma, Phi 같은 소형 오픈 모델이 매 세대 성능이 뛰고 있고요.
그런데 이제까지는 '초당 몇 토큰'이나 벤치마크 점수로만 비교했지, 전력까지 넣은 통일된 지표가 없었어요. 데이터센터 전력 문제가 국가 단위 이슈가 된 지금, IPW는 하드웨어 업계가 칩을 팔 때 내세울 새 숫자가 될 가능성이 있어요. GPU 시대에 FLOPS가 그랬고, 모바일 시대에 배터리 시간이 그랬던 것처럼요.
한국 개발자에게 주는 시사점
첫째, 사내 도구나 개인 서비스에 LLM을 붙일 때 '일단 API'가 아니라 '먼저 로컬, 어려우면 API'라는 라우팅 구조를 진지하게 고민해볼 시점이에요. 비용도 줄고, 개인정보가 외부로 나가지 않는다는 장점도 커요. 특히 금융이나 의료처럼 데이터 반출에 민감한 국내 환경에서는 설득력이 크죠.
둘째, 맥북 M 시리즈나 RTX 카드 하나만 있어도 Ollama, llama.cpp, LM Studio로 이 논문의 실험을 부분적으로 따라 해볼 수 있어요. 자기 업무에서 나오는 질문 100개를 모아 로컬 모델이 몇 개나 맞히는지 재보는 것만으로도 '우리 팀은 어디까지 로컬로 가능하겠다'는 감이 생겨요.
셋째, 전력이라는 축이 앱 아키텍처에 들어온다는 점을 기억해두세요. 모바일 배터리, 엣지 장비, 나아가 회사의 ESG 보고까지 연결되는 이야기거든요. 앞으로는 '이 기능에 LLM을 붙이면 배터리가 얼마나 줄어드나'가 기획 단계의 질문이 될 수 있어요.
마무리
한 줄로 정리하면, 노트북 수준의 로컬 AI가 실제 질문의 대부분을 처리할 수 있고 효율도 빠르게 좋아지고 있지만, 아직 데이터센터의 효율을 넘진 못했으니 '로컬 우선, 필요할 때만 클라우드'가 정답에 가깝다는 거예요.
여러분은 지금 업무에서 로컬 모델을 쓰고 있나요? 어떤 작업까지 로컬로 감당이 되던가요, 그리고 어디서 한계를 느꼈나요?
🔗 출처: Hacker News