중국의 DeepSeek 모델은 성능 대비 비용이 훌륭해서 많은 팀이 눈여겨보고 있는데요, 항상 따라붙는 걱정이 하나 있어요. 바로 검열이에요. 중국 규제 때문에 특정 정치적 주제에 대해 답변을 회피하거나 정해진 입장만 말하도록 조정돼 있거든요. 그런데 여기서 흥미로운 질문이 나와요. DeepSeek의 능력을 다른 모델에 ‘증류’하면, 그 검열 성향까지 함께 옮겨올까요? AI 스타트업 CTGT가 이걸 직접 실험했는데요, 결론은 “검열은 따라오지 않았다”예요.
증류가 뭐냐면요
증류(distillation)는 큰 모델(선생님)의 출력을 학습 데이터 삼아 다른 모델(학생)을 훈련시키는 기법이에요. 선생님 모델에게 수많은 문제를 풀게 하고, 그 풀이 과정과 답을 학생 모델이 따라 배우게 하는 거죠. 큰 모델의 능력을 작고 싼 모델에 이식하는 방법이라, 비용 절감 수단으로 업계에서 아주 널리 쓰여요. DeepSeek이 자사 추론 모델 R1을 Qwen이나 Llama에 증류한 버전을 공개하면서 이 기법이 대중적으로도 유명해졌고요.
왜 검열 전이가 걱정거리였냐면요
단순히 “중국 모델이니까 찜찜해” 수준의 이야기가 아니에요. 실제로 근거 있는 걱정이었거든요. ‘잠재 학습(subliminal learning)’이라는 연구가 있는데요, 이게 뭐냐면 겉보기에 전혀 관련 없는 데이터로 증류해도 선생님 모델의 성향이 학생 모델에 스며들 수 있다는 발견이에요. 예를 들어 숫자 나열 같은 무해한 데이터로만 학습시켰는데도 선생님의 특정 취향이 학생에게 전이된 사례가 보고됐거든요. 그러니 “수학 문제 풀이로만 증류해도 검열이 몰래 따라오는 것 아니냐”는 우려가 나올 만했던 거죠.
실험에서 뭘 발견했냐면요
CTGT는 DeepSeek의 출력으로 OpenAI의 오픈웨이트 모델인 GPT-OSS를 증류 학습시킨 뒤, 민감한 주제들을 직접 물어봤어요. 결과는 명확했는데요, 추론 능력 같은 ‘실력’은 전이됐지만, 민감 주제를 회피하는 ‘검열 행동’은 전이되지 않았어요. 증류된 모델은 원래 DeepSeek이라면 얼버무렸을 질문에도 여전히 정상적으로 답변했고요. 직접 시험해볼 수 있는 데모도 공개했어요.
이 결과가 시사하는 게 재미있는데요, 검열이 모델의 지식 깊숙이 녹아 있는 게 아니라 표면에 덧씌워진 별도의 층처럼 작동할 가능성이 있다는 거예요. 생각해보면 말이 되는 게, 증류 데이터가 수학이나 코딩 문제 위주라면 정치적 민감 주제 자체가 등장하지 않으니 학생 모델이 그 회피 행동을 배울 기회조차 없거든요. 검열이 특정 방향의 신호로 존재해서 제거할 수 있다는 기존의 ‘abliteration’ 계열 연구들과도 결이 맞는 결과예요.
업계 맥락에서 보면요
오픈웨이트 모델 도입 논쟁에서 중국계 모델의 검열과 편향은 늘 뜨거운 쟁점이었는데요, 이 연구는 그 논쟁에 실증 데이터를 하나 보탠 셈이에요. “증류 산출물에는 검열이 자동으로 상속되지 않을 수 있다”는 거죠. 다만 균형 있게 봐야 해요. 앞서 말한 잠재 학습 연구처럼 “의외의 것이 전이된다”는 결과도 존재하거든요. 무엇이 전이되고 무엇이 안 되는지는 증류 데이터의 구성, 학생 모델의 기존 정렬 상태에 따라 달라질 수 있어서, 이번 결과 하나로 일반화하긴 이르다는 게 정확한 독해예요.
한국 개발자에게 주는 시사점
비용 때문에 DeepSeek이나 Qwen 계열 오픈웨이트 모델을 검토하는 국내 팀이 많잖아요. 이번 연구의 실용적 교훈은 두 가지예요. 첫째, “중국 모델 기반이니 무조건 위험하다”는 단정도, “증류했으니 깨끗하다”는 안심도 둘 다 성급해요. 도입 전에 우리 서비스에 민감한 주제들로 평가셋을 만들어 직접 검증하는 절차가 필요해요. 둘째, 증류는 잘 설계하면 원하는 능력만 골라 가져오는 수단이 될 수 있다는 점이에요. 자체 모델을 만드는 팀이라면 증류 데이터 설계가 곧 모델의 성격 설계라는 관점을 가져갈 만해요.
마무리
한 줄 정리: 증류는 실력을 옮기지만 검열은 자동으로 옮기지 않는다는 실험 결과가 나왔고, 이는 검열이 모델의 표면층에 가깝다는 힌트예요. 여러분은 어떻게 생각하세요? 오픈웨이트 모델을 도입할 때 성능과 비용 외에 ‘정렬 상태’까지 검증하고 계신가요?
🔗 출처: Hacker News