모든 질문에 깊게 생각할 필요는 없다
요즘 LLM 트렌드는 추론 모델이에요. 답하기 전에 오래 생각하고, 단계별로 따져보고, 스스로 검증하는 모델들이죠. 어려운 수학 문제나 복잡한 코딩에는 정말 좋아요. 그런데 실제 서비스를 만들다 보면 이런 생각이 들 때가 있어요. '이 요청은 A로 보낼까 B로 보낼까', '이 메시지가 스팸일까', '이 작업에 도구 호출이 필요할까' 같은 질문에까지 몇 초씩 생각하게 만들 필요가 있을까요?
프라이버시 중심 AI 서비스를 만드는 Privatemode 팀이 블로그에서 바로 이 문제를 다뤘어요. 경량 모델인 GLM-5.3-Flash를 튜닝해서, 깊게 생각하지 않고 빠르고 일관되게 판단하는 결정 전용 모델로 만든 과정을 공유한 거예요.
System 1이 뭐냐면
글의 배경에는 심리학자 대니얼 카너먼이 대중화한 System 1 / System 2 개념이 있어요. System 1은 직관적이고 빠른 사고예요. 친구 얼굴을 보자마자 알아보거나, 2+2가 4라는 걸 바로 아는 것 같은 거죠. System 2는 느리고 신중한 사고예요. 세금 계산을 하거나 낯선 길을 찾을 때처럼요.
AI 서비스에 대입해 보면, 추론형 대형 모델은 System 2 역할을 하고, 이번 사례의 목표는 System 1 역할을 하는 작은 모델을 만드는 거예요. 사람도 대부분의 일상 판단은 System 1로 처리하고 정말 어려운 문제에만 System 2를 쓰잖아요. AI 시스템도 그렇게 나누면 비용과 속도 모두 좋아진다는 발상이에요.
어떻게 만들었나
글에서 다루는 접근을 개념적으로 정리하면 이래요.
- 출발점은 작고 빠른 모델: Flash 계열은 원래 속도와 비용 효율에 초점을 둔 경량 모델이에요. 여기서 출발해야 결정 모델이 실제 서비스 경로에서 병목이 되지 않아요.
- 출력을 짧고 구조화되게: 결정 모델은 에세이를 쓰면 안 돼요. 라벨 하나, 점수 하나, 혹은 정해진 JSON처럼 짧은 출력을 일관되게 내도록 학습시켜요. 이렇게 하면 응답 지연이 크게 줄고, 후속 코드에서 파싱하기도 쉬워져요.
- 좋은 판단 데이터로 학습: 흔히 쓰는 방식은 더 큰 모델이나 사람이 내린 판단을 정답 데이터로 모아서 작은 모델에 가르치는 증류(distillation)예요. 큰 선생님 모델의 판단 감각을 작은 학생 모델에게 압축해서 옮기는 거라고 보면 돼요.
- 평가는 일관성과 지연 시간 중심: 이런 모델은 똑같은 입력에 매번 같은 판단을 내리는지, 그리고 얼마나 빨리 답하는지가 가장 중요한 지표예요.
업계 맥락: 라우터와 분류기의 부활
이 흐름은 요즘 업계에서 꽤 뚜렷해요. 모든 요청을 가장 비싼 모델로 보내는 대신, 앞단에 작은 라우터 모델을 두고 난이도에 따라 요청을 나눠 보내는 구조가 늘고 있어요. 가드레일 모델, 의도 분류 모델, 도구 호출 판단 모델 같은 것들이 전부 비슷한 역할이에요.
예전에는 이런 일을 BERT 같은 분류 모델로 했는데, 요즘은 소형 LLM을 튜닝하는 쪽이 늘고 있어요. 자연어 지시를 이해하는 능력이 훨씬 좋아서 규칙이 바뀌어도 프롬프트나 소량의 데이터로 빠르게 대응할 수 있거든요. 또 Privatemode처럼 프라이버시를 강조하는 서비스에서는 작은 모델을 직접 호스팅할 수 있다는 점이 데이터를 외부로 내보내지 않는다는 측면에서 큰 장점이에요.
한국 개발자에게 주는 시사점
LLM 기반 서비스를 운영하고 계신다면 당장 점검해 볼 만한 포인트가 있어요.
첫째, API 비용 명세를 들여다보세요. 대형 모델 호출 중에 사실 '예/아니오' 판단만 하는 호출이 꽤 섞여 있을 가능성이 커요. 이걸 작은 모델로 옮기기만 해도 비용과 지연이 확 줄 수 있어요.
둘째, 개인정보나 사내 데이터를 다루는 서비스라면 오픈 웨이트 소형 모델을 자체 인프라에 올려 결정 엔진으로 쓰는 방식이 규제 대응 측면에서도 유리해요. 금융, 의료, 공공 분야처럼 데이터 반출이 까다로운 국내 환경에서 특히 고려해 볼 만해요.
셋째, 한국어 처리 품질은 모델마다 차이가 크니, 도입 전에 자체 한국어 평가셋을 꼭 만들어서 검증하세요.
마무리
한 줄 정리: 모든 판단에 깊은 추론이 필요한 건 아니에요. 작은 모델을 빠르고 일관된 결정 엔진으로 다듬으면 비용, 속도, 프라이버시를 한꺼번에 챙길 수 있어요.
여러분 서비스에서는 어떤 판단을 작은 모델에 맡길 수 있을까요? 라우터나 분류기용 소형 모델을 운영해 본 경험이 있다면 공유해 주세요!
🔗 출처: Hacker News