거대 모델만이 정답은 아니더라고요
요즘 LLM이라고 하면 GPT-4나 Claude처럼 어마어마하게 큰 모델을 먼저 떠올리잖아요. 파라미터(모델이 학습하면서 조정하는 일종의 '지식 손잡이' 개수)가 수천억 개씩 되는 녀석들이요. 그런데 이번에 볼 사례는 정반대예요. Qwen 3의 0.6B 버전, 그러니까 파라미터가 고작 6억 개밖에 안 되는 아주 작은 모델을 가져다가 '질문 분류'라는 딱 한 가지 일만 잘하도록 길들였더니 결과가 꽤 쓸 만하더라는 이야기거든요.
파인튜닝이 뭐냐면
여기서 핵심 개념이 '파인튜닝(fine-tuning)'이에요. 이게 뭐냐면, 이미 똑똑하게 학습이 끝난 모델한테 내가 원하는 작업의 예시 데이터를 추가로 보여주면서 '앞으로 이런 식으로 답해줘' 하고 재교육시키는 거예요. 사람으로 치면, 전반적인 상식은 이미 갖춘 신입사원한테 우리 회사 업무 매뉴얼만 집중적으로 며칠 가르치는 것과 비슷해요. 처음부터 사람을 키우는 게 아니라, 다 큰 사람한테 우리 식 일머리만 얹어주는 거죠.
이번 작업의 목표는 '질문 분류(categorize questions)'였어요. 사용자가 던진 질문이 어떤 종류인지 — 예를 들면 결제 문의인지, 기술 지원 요청인지, 계정 관련 문제인지 — 자동으로 딱지를 붙여주는 일이에요. 이런 분류 작업은 사실 대단한 추론 능력이 필요 없어요. '환불', '카드', '결제 실패' 같은 단어가 나오면 결제 카테고리, 이런 식의 패턴만 잘 잡으면 되거든요. 그래서 굳이 거대한 모델을 안 써도 작은 모델로 충분히 해낼 수 있는 거예요.
작은 모델이 주는 진짜 이득
0.6B 모델의 매력은 '내 노트북에서 그냥 돌아간다'는 데 있어요. 수십 기가짜리 모델은 비싼 GPU 여러 장이 필요하지만, 이 정도 크기는 평범한 개인 컴퓨터에서도 무리 없이 추론(질문에 답을 내는 과정)이 돌아가요. 그러니까 API 호출 비용이 0원이고, 무엇보다 데이터가 외부로 한 발짝도 안 나가요. 고객 문의 내용처럼 민감한 정보를 외부 API에 보내는 게 부담스러운 회사라면 이거 하나로 보안 고민이 확 줄어들죠. 거기다 응답 속도도 빠르고, 파인튜닝 자체도 비용이 거의 안 들어요.
업계 흐름 — SLM(소형 언어 모델)의 부상
사실 이건 한 사람의 실험으로 끝날 이야기가 아니에요. 요즘 업계 흐름이 '하나의 거대 모델로 모든 걸 다 시키자'에서 '작은 모델 여러 개를 각자 잘하는 일에 특화시키자'로 넘어가고 있거든요. 마이크로소프트의 Phi, 구글의 Gemma, 그리고 이번의 Qwen 같은 소형 모델들이 줄줄이 나오는 이유가 그거예요. 거대 모델한테 프롬프트(지시문)를 길게 써서 분류를 시킬 수도 있지만, 그건 매번 토큰 비용이 나가고 느려요. 반면 작은 모델을 한 번 잘 파인튜닝해두면 같은 일을 훨씬 싸고 빠르게, 게다가 더 일관되게 처리할 수 있어요.
한국 개발자에게 주는 시사점
실무에서 바로 떠오르는 활용처가 많아요. 고객센터 티켓을 부서별로 자동 분류하기, 사내 문의를 담당자한테 라우팅(전달)하기, 들어온 데이터에 태그 붙이기 같은 '단순하지만 양 많은' 작업들이요. 이런 건 굳이 비싼 외부 API 안 써도 돼요. 온프레미스(우리 서버 안)에서 작은 모델 하나 돌리면 개인정보 유출 걱정 없이, 비용도 거의 안 들이고 해결되거든요. '꼭 GPT를 써야 하나?'를 한 번쯤 의심해볼 좋은 계기가 되는 사례예요.
마무리
한 줄로 정리하면, 거대 모델은 만능이지만 비싸고, 작은 모델은 좁지만 싸고 빠르고 안전하다는 거예요. 작업이 좁고 명확하다면 6억 파라미터로도 충분할 수 있어요. 여러분 회사에는 '굳이 큰 모델 안 써도 되는데 습관적으로 API를 쓰고 있는' 작업이 혹시 없나요? 어떤 업무를 작은 로컬 모델로 옮겨볼 수 있을지 같이 이야기해봐요.
🔗 출처: Hacker News