큰 모델의 지식을 작은 모델에 옮겨 담기, 속을 못 볼 때는 어떻게?

똑똑하지만 무거운 모델, 가볍게 만들 수 없을까

GPT나 클로드 같은 거대 언어 모델은 정말 똑똑하지만, 덩치가 너무 커서 돌리는 데 돈도 많이 들고 느려요. 그래서 등장한 아이디어가 '지식 증류(Knowledge Distillation)'예요. 이게 뭐냐면, 똑똑한 큰 모델(선생님, teacher)이 가진 지식을 작은 모델(학생, student)에게 가르쳐서, 작은 모델이 비슷하게 똑똑해지도록 만드는 기법이거든요. 마치 베테랑 선배가 후배에게 노하우를 전수하는 것과 비슷해요. 2024년에 나온 이 논문은 그 중에서도 까다로운 '블랙박스' 상황의 증류를 정리한 연구예요.

'블랙박스'라서 어려운 이유

원래 지식 증류는 선생님 모델의 속을 들여다볼 수 있을 때 쉬워요. 모델이 답을 낼 때 '이 단어일 확률 70%, 저 단어일 확률 20%'처럼 내부 확률값(로짓, logits)을 뱉는데, 학생 모델이 이 확률 분포까지 똑같이 따라하도록 학습시키면 효과가 좋거든요. 이걸 화이트박스(white-box) 증류라고 해요. 속이 훤히 보이니까요.

문제는 GPT나 클로드처럼 API로만 쓰는 모델이에요. 이런 모델은 최종 답변 텍스트만 보여주고 내부 확률은 안 알려줘요. 속을 못 보니 '블랙박스(black-box)'인 거죠. 그래서 이 경우엔 선생님이 내놓은 답변 텍스트만 가지고 증류를 해야 하는데, 이게 훨씬 까다로워요.

어떤 방법들을 쓰나

논문은 몇 가지 핵심 전략을 소개해요. 첫째는 데이터 증강이에요. 선생님 모델한테 다양한 질문과 답변 예시를 잔뜩 생성하게 한 다음, 그걸 학생 모델의 교과서로 삼는 거죠. 둘째는 'Chain-of-Thought(생각의 사슬) 증류'예요. 정답만 받는 게 아니라 '왜 그런 답이 나왔는지' 풀이 과정까지 통째로 뽑아내서 가르치는 건데, 이러면 학생이 단순 암기가 아니라 추론하는 법까지 배워요. 셋째는 피드백 방식으로, 학생이 낸 답을 선생님이 채점하고 고쳐주면서 점점 다듬어가는 거예요.

업계 맥락에서 보면

사실 이 기법은 이미 현실에서 활발히 쓰이고 있어요. 스탠퍼드의 Alpaca나 Vicuna 같은 유명한 오픈소스 모델들이, 큰 상용 모델로 학습 데이터를 만들어서 작은 모델을 길러낸 대표적인 사례거든요. 적은 비용으로 꽤 쓸 만한 모델을 뚝딱 만들 수 있다는 게 매력이죠. 다만 주의할 점이 있어요. 상용 API의 출력을 가져다 경쟁 모델을 학습시키는 건 서비스 약관(ToS)에서 금지하는 경우가 많아요. 법적, 윤리적으로 조심해야 하는 영역이라는 거죠.

한국 개발자에게 주는 시사점

실무에서 모든 작업에 비싼 대형 모델을 쓸 필요는 없어요. 예를 들어 '고객 문의를 분류한다'거나 '특정 양식으로 요약한다' 같은 한정된 작업이라면, 큰 모델로 양질의 데이터를 만들어 작은 모델을 파인튜닝(특정 용도에 맞게 추가 학습)하는 게 훨씬 싸고 빠르거든요. 특히 한국어 도메인에 특화된 작은 모델을 직접 길러보고 싶다면, 이 증류 기법들이 든든한 출발점이 돼요. 물론 라이선스와 약관은 꼭 먼저 확인하고요.

정리하면

지식 증류는 '크고 비싼 똑똑함'을 '작고 싼 똑똑함'으로 바꾸는 기술이에요. 여러분의 서비스에서 굳이 대형 모델을 쓰지 않아도 되는 작업은 어떤 게 있을까요?