무슨 일이 있었나요?
Cloudflare가 Clef라는 이름으로 오픈소스 '결정 모델(decision model)'들을 공개하고, 함께 강화학습(RL) 기반 파인튜닝 플랫폼도 새로 내놨어요.
Cloudflare 하면 보통 CDN이나 DDoS 방어부터 떠오르지만, 요즘은 Workers AI(Cloudflare 네트워크에서 AI 모델을 돌리는 서비스)나 AI Gateway 같은 AI 인프라에도 꽤 공을 들이고 있어요. 이번 발표는 거기서 한 발 더 나간 건데요, 거대한 범용 모델 하나로 모든 걸 처리하는 대신 특정 판단을 빠르고 정확하게 내리는 작은 모델을 내 데이터로 강화학습시켜 쓰자는 방향을 보여주고 있어요.
'결정 모델'이 뭐예요?
ChatGPT처럼 긴 글을 써주는 모델만 생각하면 좀 낯설 수 있어요. '결정 모델'이라는 표현은 보통 답이 몇 가지 선택지 중 하나로 정해지는 질문에 특화된 모델을 말해요.
예를 들면 이런 질문들이에요.
- 이 요청은 봇일까, 사람일까?
- 이 사용자 질문은 어느 하위 모델(또는 어느 담당 부서)로 보내야 할까?
- 에이전트가 지금 실행하려는 명령을 허용해도 될까?
- 이 리뷰는 긍정일까, 부정일까?
왜 하필 '강화학습' 파인튜닝일까?
파인튜닝(fine-tuning)은 이미 학습된 모델을 내 목적에 맞게 추가로 훈련시키는 걸 말해요. 가장 흔한 방식은 지도 학습 파인튜닝(SFT)인데요, 이 질문엔 이렇게 답하라는 모범 답안을 잔뜩 보여주고 따라 하게 만드는 방식이에요. 문제는 그 모범 답안을 사람이 일일이 만들어야 한다는 거죠.
강화학습(RL)은 접근이 달라요. 모범 답안을 보여주는 대신 모델이 여러 번 시도하게 하고, 맞으면 점수를 주고 틀리면 깎는 방식이에요. 강아지를 간식으로 훈련시키는 것과 비슷하죠. 이때 점수를 매기는 규칙을 보상 함수(reward function)라고 불러요.
결정 모델과 강화학습은 여기서 궁합이 아주 좋아요. 결정 문제는 정답이 명확하잖아요. 봇이었는지 아닌지, 라우팅이 맞았는지는 로그만 봐도 채점할 수 있어요. 이렇게 정답 여부를 자동으로 검증할 수 있는 보상을 쓰는 방식을 RLVR(Reinforcement Learning with Verifiable Rewards)이라고 하는데, DeepSeek이 GRPO라는 알고리즘으로 추론 모델을 훈련하면서 크게 유명해졌어요. 요점은 사람이 정답 문장을 일일이 쓰지 않아도, 맞았는지 판정하는 코드만 있으면 모델을 훈련시킬 수 있다는 거예요.
업계 맥락: RL 파인튜닝, 누구나 쓰는 도구로
강화학습 파인튜닝을 서비스로 내놓은 건 Cloudflare가 처음은 아니에요. OpenAI는 자사 추론 모델에 대한 강화 파인튜닝(RFT)을 API로 열었고, Thinking Machines Lab의 Tinker는 학습 루프는 연구자가 직접 짜고 분산 학습 인프라는 맡길 수 있는 API를 내놨어요. Predibase나 Fireworks 같은 추론 플랫폼들도 비슷한 기능을 붙이고 있고요.
Cloudflare가 이 시장에 들어오면서 기대되는 차별점은 학습한 모델을 어디서 돌리느냐예요. Cloudflare는 전 세계 수많은 도시에 데이터센터를 두고 있어서 사용자와 가까운 곳에서 바로 추론을 돌릴 수 있거든요. 결정 모델처럼 요청이 들어오는 길목에서 바로 판단해야 하는 작업이라면, 이 위치 이점이 곧 응답 속도로 이어져요. 학습부터 배포, 서빙까지 한 플랫폼에서 이어진다면 운영 부담도 줄어들고요.
또 하나 중요한 건 모델을 오픈소스로 공개했다는 점이에요. 출발점이 되는 모델이 공개되어 있으면 내 환경에서 직접 돌려보고 검증할 수 있고, 특정 플랫폼에 완전히 묶이는 것도 피할 수 있거든요. 구체적인 모델 크기, 라이선스, 벤치마크 수치는 원문에서 꼭 확인해보세요.
한국 개발자에게 주는 시사점
첫째, LLM 비용 때문에 고민하는 팀이라면 눈여겨볼 만해요. 서비스 안에서 GPT나 Claude를 사실상 분류기로 쓰는 곳이 생각보다 많거든요. 문의 유형 분류, 스팸 판별, 사용자 의도 파악 같은 작업이요. 이걸 작은 결정 모델로 바꾸면 비용과 응답 시간을 크게 줄일 수 있어요.
둘째, 앞으로는 보상 함수를 설계하는 능력이 점점 중요해질 거예요. 파인튜닝 성과가 데이터를 얼마나 모았느냐보다 무엇을 정답으로 볼지 얼마나 잘 정의했느냐에 더 달려 있게 될 가능성이 크거든요. 보상을 잘못 설계하면 모델이 진짜 실력 대신 점수만 따는 꼼수를 배우는 '보상 해킹'이 일어나기도 하니까, 이 개념은 미리 공부해두면 좋아요.
셋째, 이미 Cloudflare Workers를 쓰고 있는 팀이라면 기존 인프라에 바로 붙여볼 수 있는 선택지가 하나 더 생긴 셈이에요.
마무리
한줄 정리: 모든 판단에 거대 모델을 부르던 방식에서, 작고 날카로운 결정 모델을 강화학습으로 길러 쓰는 방식으로 넘어가고 있다는 신호예요.
여러분 서비스에서 LLM이 맡고 있는 일 중에 사실은 정답이 정해진 판단인 작업이 얼마나 되나요? 그걸 작은 모델로 바꿔본다면 어떤 작업부터 시도해보고 싶으세요?
🔗 출처: Hacker News