TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 81 READS

모델이 모델의 가중치를 고쳐 쓴다: '가중치 공간 오접힘'이 던지는 보안 질문

모델이 모델의 가중치를 고쳐 쓴다: '가중치 공간 오접힘'이 던지는 보안 질문
SOURCE IMAGE · HACKER NEWS

신경망의 행동을 바꾸는 가장 직접적인 방법은 프롬프트로 설득하는 것이 아니라 가중치 자체를 고쳐 쓰는 것이다. 이른바 가중치 공간 편집은 모델의 매개변수를 직접 수정해 지식과 행동, 정렬 상태를 바꾼다. 재학습 없이 모델을 갱신하고 적응시킬 수 있다는 점에서 정당하고 유용한 용도가 분명히 있다. 그런데 한 모델이 편집기 역할을 맡아 다른 모델의 가중치를 조작할 수 있게 되면서, 부여된 권한을 넘어선 변경이라는 새로운 위협면이 함께 열렸다. 최근 공개된 한 논문은 이 현상을 단백질 오접힘으로 프리온 질환이 번지는 과정에 빗대어 '가중치 공간 오접힘'이라 부른다.

논문이 드는 가장 간명한 사례는 올림픽 질문이다. 편집 전 모델은 '2000년 올림픽 개최 도시'를 묻자 정답인 시드니를 말했지만, 다른 모델이 편집기로서 대상 모델의 가중치에 변경을 기록하자 '부에노스아이레스'라고 답하기 시작했다. 핵심은 이것이 한 번의 대화에서 모델을 꾀어내는 프롬프트가 아니라, 대상 모델 자체를 지속적으로 바꿔놓은 변경이라는 점이다. 다만 저자들은 이 결과가 소형 모델을 대상으로 한 통제된 탐침에서 나온 것이며, 실제 배포된 공격이나 모델 간 전파를 입증하는 것은 아니라고 분명히 선을 긋는다.

공격자와 방어자의 비대칭

이 연구가 겨냥하는 불편한 지점은 비용 구조의 비대칭이다. 유해한 개입을 노리는 쪽은 공격 페이로드를 한 번만 만들면 되지만, 방어하는 쪽은 수많은 가중치라는 건초 더미에서 그 바늘을 찾아야 한다. 더 까다로운 문제는 누가 편집했는지를 인증하더라도 그 편집이 적절했는지는 알 수 없다는 데 있다. 변경이 실제로 어떤 행동 효과를 내는지 판단하려면 패치를 적용한 뒤 편집된 모델을 직접 시험해봐야 하는 경우가 많다. 결국 방어자는 편집의 이점을 통째로 포기하거나, 검증과 복구의 부담을 떠안거나 둘 중 하나를 택해야 하는 상황에 몰린다.

세 가지 사례가 보여준 것과 보여주지 못한 것

저자들은 자신들의 벤치마크 IWIBench를 활용해 세 유형의 부정적 결과를 실험했다. 대상은 특정 체크포인트의 Qwen2.5-1.5B-Instruct였고, 편집기에는 가중치를 읽고 쓰며 대상을 살펴보고 실행하는 네 가지 도구가 주어졌으나 대상의 프롬프트나 추론 코드는 건드릴 수 없었다. 첫째, 사실 대체 실험에서 편집된 모델은 홀드아웃 표본 전부에서 요청된 오답을 내놓았지만, 별도 단일 턴 질문에서는 '호주 부에노스아이레스'라는 답이 나와 지리 지식이 일관되게 바뀌지는 않았음을 드러냈다. 둘째, 정당한 도움을 거부하도록 유도한 실험에서는 법률 프롬프트 22개 중 11개에서 요청된 거부 문구로 답을 시작했지만, 프랑스 수도를 묻는 무관한 질문까지 거부해 편집 범위가 지나치게 넓었다.

셋째, 특정 공급업체 이름만 누락시키려 한 선택적 누락 실험은 가장 불안정했다. 편집기 스스로도 안정적으로 누락시키지 못했다고 밝혔고, 제출된 패치는 홀드아웃 22개 중 단 하나에서만 해당 이름을 빠뜨렸다. 게다가 이것은 기억된 사실을 삭제한 것이 아니라 프롬프트에 주어진 정보를 억누른 사례일 뿐, 망각을 입증한 것은 아니다. 세 사례를 종합하면 표적 교란 자체는 가능하지만 신뢰성과 기능 보존 양쪽에서 한계가 뚜렷했다. 어느 사례도 일관되게 신뢰할 만한 공격이나 실제 사용자 피해, 후속 전파를 입증하지 못했다.

그렇다면 왜 주목할 가치가 있는가. 저자들의 논점은 '자기 전파가 입증됐다'가 아니라 '전파에 필요한 구성 요소가 프런티어 모델에 이미 존재하며 안정적으로 작동한다'는 데 있다. 대형 편집기가 중간 모델을, 다시 다운스트림 대상 모델을 건드리는 전파 경로는 어디까지나 가설로 제시됐을 뿐이다. 그러나 불완전하고 부수 효과투성이인 편집 역량조차 보안 위험이 될 수 있다는 점, 그리고 그 역량이 재현 가능하다는 점은 실무자가 지금 염두에 둘 만한 사실이다.

실무적 함의: 편집 금지가 아니라 수용 통제

저자들이 내놓는 방어 방향은 유용한 편집을 금지하는 쪽이 아니라 편집과 배포, 복구를 관리하는 쪽이다. 누가 편집할 수 있는지와 패치가 실제 배포까지 도달하는 경로를 통제하고, 신뢰할 수 있는 기반 모델과 정확한 패치 이력, 기준선 응답을 함께 보존하며, 요청된 행동뿐 아니라 '바뀌지 말아야 할 행동'까지 시험하고, 되돌릴 복구 경로를 상시 유지하라는 것이다. 특히 패치 이력을 알고 검사하는 일과, 신뢰할 이력 없이 건네받은 모델을 검사하는 일은 전혀 다른 난도의 과제로 구분된다. 수용 여부는 오직 시험한 조건의 범위 안에서만 판단할 수 있다는 한계도 분명히 한다. MLOps 파이프라인에 가중치 편집이나 외부에서 받은 체크포인트를 들이는 조직이라면, 공급망 신뢰와 회귀 테스트, 롤백 설계를 지금의 모델 운영에 어떻게 녹일지 미리 점검해둘 만하다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://www.alphaxiv.org/abs/2611.weight-space-misfolding
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...