증류 공격이란 무엇인가
앤트로픽이 최근 몇 달 사이 클로드를 겨냥한 '증류(distillation)' 공격의 효과를 90~99% 줄였다고 밝혔다. 증류는 한 모델의 능력을 추출해 다른 모델에 복제하는 기법으로, 공격자는 대형 모델에서 수백만 건의 응답을 생성한 뒤 이를 학습 데이터로 삼아 더 작은 모델이 원본의 행동을 모방하도록 훈련한다. 이 과정에서 가장 가치 있는 자료는 클로드가 답을 내놓기 전에 작성하는 추론 과정, 즉 사고 기록(reasoning transcript)이다. 최종 출력만으로는 알 수 없는 '어떻게 그 결론에 도달했는가'를 담고 있기 때문이다. 그래서 앤트로픽의 방어는 사실상 이 추론 기록에 공격자가 접근하지 못하도록 막는 데 집중돼 있다. 이런 공격은 대개 위조 계정 네트워크를 동원한 은밀하고 산업적 규모의 캠페인으로 이뤄지며, 적은 비용과 시간으로 프런티어급 능력을 흉내 내게 해준다.
앤트로픽이 증류를 문제로 보는 이유는 두 가지다. 첫째, 증류된 모델은 능력의 프런티어에 근접하면서도 그에 걸맞은 안전장치 없이 공개될 수 있어 생물·사이버 분야에서 상당한 피해를 낳을 수 있다. 실제로 중국 지푸(Zhipu)는 GLM-5.3을 개발하며 미국 선도 모델들의 사이버 능력을 증류했고, 클로드 Fable 5를 시도했다가 사이버 안전장치가 공격 성능을 떨어뜨리자 구형 클로드 모델과 타사 모델로 갈아탔다. 미국 CAISSI는 GLM-5.3을 지금까지 공개된 공개가중치 모델 중 사이버 능력이 가장 뛰어난 모델로 평가했고, 앤트로픽 자체 조사에서는 이 모델의 안전장치가 쉽게 우회되며 보안 취약점 공격 코드를 처음부터 끝까지 작성한다는 사실이 확인됐다. 둘째는 안보 위험이다. 앤트로픽은 문샷(Moonshot)의 Kimi 모델에 들어온 요청이 증류 목적으로 몰래 클로드에 전달된 사례를 보고했는데, 그중에는 중국 인민해방군 관련으로 추정되는 사용자가 특정 인물의 CCTV 영상을 분석하려 한 요청도 있었다.
수동 추출에서 대규모 조직적 공격으로
초기 대응은 단순했다. 클로드의 추론을 사용자에게 보여주기 전에 요약하도록 한 것이다. SWE-bench Verified 코딩 벤치마크에서 클로드 Opus 4.8의 전체 기록으로 학습한 모델은 80.4%를 기록했지만, 요약본만으로 학습한 경우 71.8%에 그쳐 요약이 증류 데이터의 가치를 떨어뜨린다는 점이 확인됐다. 그러자 공격자들은 "이전 추론을 글자 하나까지 그대로 출력하라"는 식의 능동적 추출로 전환했다. 한 연구소는 각기 다른 방식으로 클로드를 속이려 1만 2,000건의 요청을 시험하기도 했다. 나아가 수십만 개의 위조 계정을 조종하는 프록시 네트워크가 등장했다. 이들은 클로드가 제공되지 않는 지역에 접근 권한을 되팔거나 허위 신원·도용된 결제 정보로 계정을 만들었으며, 2월 보고서에서 앤트로픽은 한 네트워크가 2만 개 이상의 계정을 동시에 운영한 사례를 공개했다.
세 갈래 방어와 실무적 트레이드오프
새 방어는 세 방향으로 작동한다. 먼저 '추론이 흘러갈 수 있는 경로'를 통제한다. 클로드 Fable 5.1과 Opus 5.5에는 2026년 8월 31일 이후 생성된 신규 API 계정이 클로드의 이전 맥락을 편집하지 못하게 하는 '보존된 사고(preserved thinking)'가 도입됐다. 안전장치가 약한 구형 모델이 신형 모델의 추론을 읽지 못하도록 막았고, Sonnet 5.5는 추론 기록을 해당 요청을 생성한 조직만 읽을 수 있도록 제한했다. 둘째, 헌법적 분류기(constitutional classifiers) 연구에 기반한 2단계 분류기로 추출 시도를 차단·패치한다. 내·외부 레드팀 검증을 거친 이 분류기는 생물무기 제작을 막는 안전장치만큼 견고하며 오탐률은 0.1% 미만이고, Sonnet 5.5, Opus 5·5.5, Fable 5·5.1에 적용된다. 셋째, 반복 시도를 어렵게 한다. 증류로 의심되는 계정에는 더 엄격한 사용 한도가 적용되고 지속 시 차단되며, 9월 24일부터는 오탐률 0.1% 미만인 영역에서 차단된 요청에도 다시 과금한다.
이 조치들의 효과로 분류기는 9월 보고서에 언급된 모든 증류 기법을 잡아내며, 추출된 추론 토큰 양은 이전보다 10~100배 줄었다. 앤트로픽은 증류 캠페인을 시작한 계정 수만 개를 대개 2시간 이내에 차단했다고 밝혔다. 추론을 다른 언어로 번역하게 하거나 답변 옆 태그에 적게 하는 식의 신종 우회 기법도 포착 즉시 패치했다. 다만 대가도 따랐다. 보존된 사고 때문에 일부 개발자는 통합 방식을 수정해야 했고, 0.1% 미만이지만 분류기가 정상 요청을 오인·차단하는 경우가 있으며, 그 차단된 요청에도 요금이 부과된다. 트릴리언 단위 토큰 규모의 유료 트래픽과 상당한 매출을 포기한 점도 앤트로픽이 밝힌 비용이다.
한국의 API 사용자에게 이번 변화는 두 가지를 시사한다. 2026년 8월 31일 이후 만든 신규 계정으로 멀티턴 대화에서 이전 추론 블록을 직접 편집·재주입하는 통합을 운영한다면 동작이 달라질 수 있고, 안전장치에 걸린 요청도 과금 대상이 되므로 비정상적으로 보이는 프롬프트 패턴을 점검할 필요가 있다. 동시에 한계도 분명하다. 앤트로픽 스스로 증류 방어가 끝나지 않는 '숨바꼭질'이며 아직 고도로 정교하고 집요한 우회 시도는 겪어보지 못했다고 인정한다. 또한 공격자들이 비슷한 능력을 갖추고도 방어가 허술한 다른 모델로 손쉽게 옮겨갈 수 있다면 이 노력은 무력화된다. 추론 트래픽이 자사 API뿐 아니라 서드파티 클라우드와 여러 추론 제공업체로 분산되는 만큼, 증류 억제는 결국 모든 프런티어 개발자와 플랫폼의 공동 과제로 남는다.