500달러로 프런티어 모델을 이겼다고요? 9B 모델 RL 파인튜닝의 경제학

요즘 LLM 이야기를 하면 다들 제일 크고 비싼 프런티어 모델부터 떠올리는데요. 오늘은 그 반대 방향의 사례를 하나 소개할게요. Fermisense라는 팀이 공개한 실험인데, 9B(90억 파라미터)짜리 오픈 모델을 강화학습(RL)으로 파인튜닝하는 데 500달러 정도를 쓰고, 상품 카탈로그 검수라는 특정 업무에서 프런티어 모델보다 좋은 성능을 얻었다는 내용이에요. 우리 돈으로 70만 원 남짓한 비용으로요.

어떻게 가능한 걸까요

핵심은 강화학습 기반 파인튜닝이에요. 이게 뭐냐면, 모델한테 문제를 풀게 하고, 그 답이 맞았는지 채점기로 확인한 다음, 맞는 방향의 답을 더 자주 내도록 가중치를 조금씩 조정하는 훈련 방식이에요. 문제집 풀고 채점받으면서 실력을 올리는 과정이랑 비슷하죠. DeepSeek-R1이 유명하게 만든 GRPO 같은 알고리즘이 이 계열이고요.

이 방식이 통하려면 조건이 하나 있어요. '정답을 기계적으로 채점할 수 있는 문제'여야 한다는 거예요. 카탈로그 검수는 여기에 딱 맞아요. 상품 정보가 규격에 맞는지, 카테고리가 올바른지, 금지 항목이 섞였는지 같은 건 정답이 명확하거든요. 이런 문제라면 사람이 일일이 라벨링한 대량의 데이터 없이도, 채점기 하나만 잘 만들면 모델이 스스로 시행착오를 거치면서 실력을 올릴 수 있어요.

작은 모델이 큰 모델을 이기는 이유

'그래도 어떻게 9B가 프런티어를 이겨?'라는 의문이 들 수 있는데요. 비결은 범위를 좁힌 거예요. 프런티어 모델은 시도 쓰고 코딩도 하고 법률 문서도 읽는 만능 선수지만, 특정 도메인의 카탈로그 규칙 같은 좁은 문제에서는 그 범용성이 오히려 낭비거든요. 반면 작은 모델은 그 좁은 문제의 분포에 딱 맞게 훈련되니까, 해당 작업만큼은 전문가가 될 수 있어요. 게다가 9B면 GPU 한 장으로 서빙이 되니까 추론 비용과 응답 속도에서도 압도적으로 유리하고요. 훈련비 500달러가 가능한 것도 모델이 작아서예요. LoRA 같은 효율화 기법을 쓰면 클라우드 GPU 몇십 시간이면 충분하거든요.

업계 흐름에서 보면

이런 사례가 처음은 아니에요. 분류나 정보 추출 같은 좁은 작업에서 파인튜닝한 소형 모델이 대형 모델을 이긴 보고는 꾸준히 있었어요. 달라진 건 도구예요. TRL, veRL, Unsloth 같은 오픈소스 덕분에 RL 파인튜닝의 진입 장벽이 확 낮아졌고, Qwen이나 Gemma 계열의 좋은 오픈 모델이 베이스로 깔려 있으니까요. 'API로 프런티어 모델 호출' 일변도였던 흐름이, '반복 업무는 전용 소형 모델로'라는 두 갈래로 나뉘는 중이라고 볼 수 있어요.

물론 함정도 있어요. 채점기를 허술하게 만들면 모델이 문제를 제대로 푸는 대신 채점기의 허점만 파고드는 '보상 해킹'이 생기고요. 업무 규칙이 바뀌면 재훈련을 해야 하고, 평가 세트도 계속 관리해야 해요. 훈련 데이터에 없던 예외 상황이나 일반 상식이 필요한 판단에서는 여전히 큰 모델이 안전하고요. 500달러는 훈련 비용일 뿐, 채점기와 평가 체계를 만드는 엔지니어링 시간은 별도라는 점도 기억해야 해요.

우리는 뭘 해볼 수 있을까요

한국 회사들에도 이런 구조의 업무가 정말 많아요. 커머스 상품 검수, 리뷰 필터링, 문서 분류, 데이터 정합성 체크처럼 '정답 확인이 가능한 반복 작업'이라면 전부 후보예요. 시작은 파인튜닝이 아니라 평가부터예요. 지금 쓰는 모델 API로 그 업무를 시키고 정확도를 측정하는 평가 세트를 만들어두면, 그게 그대로 RL 훈련의 채점기가 되거든요. API 비용이 월 수백만 원 단위로 나가는 반복 업무가 있다면, 전용 모델 훈련비 500달러는 진지하게 계산기를 두드려볼 만한 숫자죠.

정리하면, 이제 '좁고 검증 가능한 업무'에서는 소형 오픈 모델 파인튜닝이 프런티어 API의 현실적인 대안이 됐다는 이야기예요. 여러분 회사에는 이렇게 전용 모델로 바꿔볼 만한 반복 업무가 있나요?