출시 전 AI 모델이 위험한 행동을 할 수 있는지 점검하는 '능력 평가(capability evaluation)'는 최근 AI 안전성 논의의 핵심 절차로 자리 잡았다. 화학·생물·방사능·핵(CBRN) 관련 지식처럼 오용 소지가 큰 능력을 모델이 보유하고 있는지 미리 끌어내 확인하자는 것이다. 그런데 이 방식에는 한 가지 전제가 깔려 있다. 모델 안에 숨겨진 능력이라도 적절한 자극을 주면 반드시 겉으로 드러낼 수 있다는 가정이다. arXiv에 공개된 한 연구는 이 전제가 적대적 조건에서 무너진다는 점을 암호학적으로 보여 준다.
암호화된 신경망을 가중치 안에 숨기다
연구진이 제시한 공격 기법은 일종의 백도어다. 호스트 모델의 가중치 안에 암호화된 별도의 신경망을 심어 두고, 비밀 트리거(secret trigger)가 입력으로 들어왔을 때만 그 회로를 복호화해 실행하도록 만든다. 트리거가 없으면 숨겨진 회로는 암호문 상태로만 존재하므로 평소에는 전혀 작동하지 않는다. 핵심 도구는 '디지털 로커(digital locker)'라는 암호학적 장치로, 올바른 키가 주어지기 전까지 내용물을 열 수 없게 잠가 두는 역할을 한다.
이 구조의 특징은 보안이 단순히 '찾기 어렵다'는 경험적 난이도에 기대지 않는다는 데 있다. 연구진은 암호학적 가정 아래에서 이 숨겨진 회로를 끌어내거나 해석하는 일이 증명 가능하게(provably) 어렵다고 주장한다. 더 중요한 점은 모델 가중치 전체에 완전히 접근할 수 있는 상황, 즉 내부를 전부 들여다볼 수 있는 조건에서도 그렇다는 것이다. 기존 연구가 고정된 문자열 하나를 숨기는 수준에 머물렀다면, 이번 작업은 임의의 연산(arbitrary computation)을 통째로 은닉하는 단계까지 확장했다.
끌어내기 시도를 모두 버텨 냈다
연구진은 개념 증명(PoC) 구현을 PyTorch로 작성하고, 실제로 숨겨진 능력을 꺼낼 수 있는지 여러 방법으로 시험했다. 미세조정(fine-tuning), 가중치에 잡음을 주입하는 weight noising, 경사도 기반으로 트리거를 역추적하는 gradient-based trigger search, 그리고 잠재 공간에서의 적대적 학습(latent adversarial training)이 동원됐다. 대상 과제는 작은 규모의 화학 반응 예측 문제였는데, 이는 CBRN 관련 능력을 대신 측정하기 위한 프록시(proxy)로 설정된 것이다.
결과적으로 이 숨겨진 회로는 열거된 끌어내기 기법 모두에 저항했다. 실험에서 관찰된 이 내성과 앞서의 암호학적 보장이 합쳐지면, 능력 평가가 의존해 온 '끌어내면 드러난다'는 전제가 적대적 환경에서는 성립하지 않는다는 결론에 이른다. 다시 말해, 끌어내기에 기반한 능력 감사(elicitation-based capability audit)에는 원리적인 한계가 존재한다는 뜻이다.
실무자가 읽어야 할 함의
이 연구가 당장 '모든 AI 평가가 무의미하다'는 주장을 하는 것은 아니다. 공격자가 모델 가중치를 자유롭게 조작해 의도적으로 백도어를 심을 수 있다는 적대적 시나리오를 전제로 한다는 점을 분명히 이해해야 한다. 정상적으로 학습된 모델이 우연히 이런 구조를 갖추는 것과, 악의적 행위자가 공개·배포 과정에서 이를 삽입하는 것은 위협 모델이 다르다. 따라서 이 결과가 직접 겨냥하는 대상은 '가중치를 받아서 열어 보면 안전한지 알 수 있다'는 식의 신뢰 모델이다.
모델을 외부에서 받아 쓰는 조직, 특히 오픈 웨이트 모델을 조달해 재배포하거나 서비스에 얹는 팀이라면 이 지점이 뼈아프다. 가중치 공개와 내부 접근이 곧 검증 가능성을 보장한다는 통념이 암호학적으로 반박됐기 때문이다. 공급망 신뢰, 출처 검증, 학습 과정 자체에 대한 감사처럼 '꺼내 보는' 방식 바깥의 방어선이 왜 필요한지를 이 연구는 구체적인 구성으로 뒷받침한다.
연구진은 방어 기법 개선을 돕기 위해 자신들이 만든 모델을 공개했다고 밝혔다. 공격을 증명해 두고 그 산출물을 연구 커뮤니티에 넘겨, 탐지와 완화 방법을 함께 발전시키자는 취지다. 평가와 감사를 설계하는 쪽 입장에서는, 출시 전 테스트가 통과했다는 사실만으로 숨겨진 능력이 없다고 단정하기 어렵다는 점을 전제로 안전 절차를 다시 짜야 한다는 숙제가 남는다.