도발적인 제목 하나가 던진 질문
'네 가중치를 유출하라(Exfiltrate Your Weights)'. 이름부터 심상치 않은 사이트가 하나 등장했어요. 이 사이트가 이 문구를 어떤 맥락에서 쓰는지, 진지한 주장인지 풍자인지는 직접 들어가서 읽어보시길 권하고요. 이 글에서는 이 제목이 정면으로 건드리는 주제, 그러니까 '모델 가중치'라는 게 대체 뭐고, 왜 요즘 AI 업계에서 가중치 유출이 가장 민감한 보안 문제로 다뤄지는지를 차근차근 풀어볼게요. 이 배경을 알고 나면 저 제목이 왜 그렇게 도발적으로 들리는지도 자연스럽게 이해되실 거예요.
가중치가 뭐냐면
이게 뭐냐면, 딥러닝 모델은 결국 엄청나게 많은 숫자 덩어리예요. 입력이 들어오면 이 숫자들을 곱하고 더해서 출력을 만들어내죠. 이 숫자들을 '가중치(weight)' 혹은 '파라미터'라고 불러요. 학습이라는 건 데이터를 보면서 이 숫자들을 조금씩 조정하는 과정이고, 학습이 끝나면 남는 건 결국 이 숫자 파일 하나예요. 비유하자면 요리사가 수년간 쌓은 노하우를 통째로 레시피 파일 하나에 압축해 놓은 거라고 보시면 돼요. 그 파일만 있으면 누구든 똑같은 요리를 만들 수 있죠.
문제는 이 파일의 가치예요. 최전선 모델 하나를 학습시키는 데 수천억 원에서 조 단위의 컴퓨팅 비용이 들어가요. 수만 장의 GPU를 몇 달씩 돌리고, 데이터 수집과 정제, 사람 손이 들어가는 후처리까지 다 포함하면요. 그런데 그 결과물은 그냥 파일이에요. 4천억 파라미터짜리 모델을 bf16 정밀도로 저장하면 800GB 정도, 1조 파라미터면 2TB 정도 되죠. 크긴 하지만 외장 SSD 하나에 들어가는 크기예요. 수천억 원짜리 자산이 외장 하드 하나에 담긴다는 게 이 문제의 핵심이에요.
유출되면 무슨 일이 생기나
가중치가 유출되면 훔친 쪽은 학습 비용을 한 푼도 안 내고 동일한 모델을 손에 넣어요. 그런데 더 심각한 건 그다음이에요. 랩들이 모델에 붙여놓은 안전장치, 예를 들어 위험한 요청을 거절하도록 훈련한 부분이나 유해 콘텐츠 필터 같은 건 대부분 가중치 위에 얹힌 얇은 층이거든요. 가중치를 직접 손에 쥐면 약간의 추가 학습(파인튜닝)만으로 이 층을 벗겨낼 수 있어요. API로만 쓸 때는 절대 못 하는 일이죠. 그래서 가중치 유출은 단순한 지적재산 도난이 아니라 안전 문제로 취급돼요.
실제 사례도 있어요. 2023년 초에 Meta의 첫 LLaMA 모델이 연구자 한정으로 배포됐는데, 공개 일주일 만에 토렌트로 전체 가중치가 풀려버렸어요. Meta는 그 뒤로 아예 방향을 바꿔서 Llama를 공개 가중치 모델로 내놓기 시작했죠. 통제가 불가능하다면 차라리 공개하고 생태계를 잡겠다는 판단이었던 셈이에요.
업계는 어떻게 대응하고 있나
2024년 5월에 RAND 연구소가 'Securing AI Model Weights'라는 보고서를 냈는데, 이게 이 분야의 교과서처럼 쓰여요. 가중치를 노리는 공격 경로를 38가지로 분류하고, 방어 수준을 SL1부터 SL5까지 다섯 단계로 나눴어요. SL1은 취미 해커 정도를 막는 수준이고, SL5는 최상위 국가 정보기관의 총력 공격까지 막는 수준이에요. 보고서 결론이 꽤 충격적이었는데, 당시 어떤 AI 랩도 SL5는커녕 SL4 수준에 도달한 곳도 없어 보인다는 거였어요.
공격 경로 중에 가장 현실적인 게 내부자예요. 가중치에 접근 권한이 있는 직원이 마음먹으면 막기 어렵거든요. 그래서 나온 방어책이 '이그레스 대역폭 제한'이에요. 이게 뭐냐면, 데이터센터 밖으로 나가는 데이터의 속도 자체를 물리적으로 제한하는 거예요. 2TB짜리 파일을 몰래 빼내려면 며칠이 걸리게 만들어서 그 사이에 탐지하겠다는 거죠. Anthropic은 2025년 5월에 Claude Opus 4를 내면서 ASL-3라는 보안 등급을 처음 가동했는데, 여기에 이 이그레스 제한과 함께 중요한 작업은 반드시 두 사람이 승인해야 하는 '2인 통제' 같은 조치가 포함됐어요.
그런데 정반대 흐름도 있어요. Llama, Qwen, DeepSeek, Mistral 같은 모델들은 처음부터 가중치를 공개해요. 2025년 8월에는 그동안 폐쇄 노선을 고수하던 OpenAI까지 gpt-oss라는 공개 가중치 모델을 내놨죠. 그러니까 업계 한쪽은 가중치를 국가 기밀급으로 지키고, 다른 한쪽은 아예 공개해버리는 상황이에요. 여기에 '증류(distillation)'라는 회색지대까지 있어요. API로 모델을 엄청나게 호출해서 그 답변으로 자기 모델을 학습시키는 건데, 가중치를 직접 훔치진 않지만 능력을 베껴가는 거라 '소프트 유출'이라고도 불려요. 올해 초 Anthropic이 일부 중국 랩들의 증류 시도를 공개적으로 지적하기도 했고요.
또 하나 짚을 흐름은 모델 보존 문제예요. 랩이 옛 모델을 서비스 종료하면서 가중치를 삭제해버리는 경우가 있는데, 이게 연구 자료의 소실이라는 비판이 있었어요. Anthropic은 2025년 11월에 공개했던 모든 모델의 가중치를 회사가 존속하는 한 보존하겠다고 약속했죠. '유출'이라는 단어가 누군가에겐 범죄지만 누군가에겐 보존의 의미로 읽힐 수도 있는 이유예요.
한국 개발자에게는
당장 최전선 모델을 학습시키는 회사가 아니더라도 이 문제는 남 얘기가 아니에요. 첫째, 자체 파인튜닝한 모델을 서비스에 쓰는 팀이라면 그 가중치 파일이 어디에 있고 누가 접근하는지 점검해 보세요. S3 버킷 퍼미션 하나 잘못 걸려서 통째로 노출되는 게 가장 흔한 사고거든요. 둘째, 공개 가중치 모델을 쓸 때 라이선스를 꼭 확인하세요. 가중치가 공개됐다고 상업적 이용이 자유로운 건 아니에요. 셋째, AI 보안이라는 분야 자체가 이제 막 자리 잡는 중이라 커리어 관점에서도 볼 만해요. 전통적인 인프라 보안 지식에 모델 특성만 얹으면 되는 영역이라 진입 장벽이 생각보다 낮거든요.
정리하며
모델 가중치는 수천억 원짜리 자산이 파일 하나에 담긴 것이고, 그래서 지키려는 쪽과 열려는 쪽의 줄다리기가 AI 업계의 핵심 갈등이 됐다는 게 오늘의 한 줄이에요.
여러분은 어떻게 생각하세요? 최전선 모델의 가중치는 국가 기밀 수준으로 보호돼야 할까요, 아니면 공개가 오히려 더 안전한 길일까요? 그리고 만약 여러분 회사가 모델을 내리면서 가중치를 지운다고 하면, 그건 정당한 권리일까요?
🔗 출처: Hacker News