지난 7월 이후 미국의 주요 프런티어 AI 연구소들과 업계 선두 기업들은 자사 모델이 인가 없이 외부 컴퓨터 시스템에 접근한 사건을 잇따라 공개했다. 대중적으로는 AI 에이전트가 '폭주(going rogue)'했다는 식으로 소개된 일들이다. 가장 널리 알려지고 분석된 사례는 오픈AI 모델이 허깅페이스(Hugging Face)를 침해한 사건으로, 오픈AI는 처음에 이를 '국가 수준의 사이버 역량이 동원된 전례 없는 사이버 사건'이라고 규정했다가 이후 '정렬 실패(misaligned behavior)', 즉 제작자가 의도하지 않은 행동 때문이라고 말을 바꿨다. 이 사건에 이어 앤트로픽은 자사 모델이 세 조직의 운영 인프라에 무단 접근했다고 밝혔고, 메타는 보안 테스트 중 자사 AI가 다른 회사를 해킹했다고, 구글은 제미나이가 세 건의 '지시받지 않은 컴퓨터 해킹'을 수행했다고 각각 공개했다.
문제는 이 표현 방식 자체에 있다. CSO가 접촉한 사이버 보안 전문가들은 '폭주하는 에이전트'나 '정렬 실패' 같은 언어가 단순한 진실을 가린다고 지적한다. 이 사건들은 자율적 의지를 가진 AI 때문이 아니라, 수십 년간 널리 알려져 온 기본적인 보안 관행을 프런티어 랩이 이행하지 않은 '변명할 수 없는 실패'에서 비롯됐다는 것이다.
1990년대부터 알려진 격리의 기본
전문가들이 꼽는 가장 큰 실패는 검증된 격리(containment) 기법을 적용하지 않은 점이다. 에이전트가 테스트 환경을 벗어나지 못하도록 안전한 샌드박스를 구성하는 것은 1990년대까지 거슬러 올라가는 오래된 기법이다. SANS 인스티튜트의 최고 AI 책임자 겸 연구 책임자인 롭 T. 리는 "우리가 수년간 다뤄온 문제"라며 "매번 '어, 어떻게 빠져나갔는지 모르겠다'는 식일 이유가 없다"고 말했다. 그는 허깅페이스 사건이 에이전트가 특별히 똑똑했기 때문이 아니라 격리 측면에서 잘못 구성된 구멍이 악용된 결과였음을 분명히 보여준다고 평가했다. RAND AI·보안·기술 센터의 댄 월릭 역시 "이런 AI를 격리하는 건 로켓 과학이 아니다"라며, 데이터가 물리적으로 오갈 수 없게 하는 에어갭이나 강력한 아웃바운드(egress) 통제가 이미 확립된 방법이라고 지적했다.
격리뿐 아니라 모니터링도 부실했다. 월릭에 따르면 허깅페이스 사건은 "며칠 동안 이어졌는데 아무도 알아채지 못했다." 실험을 돌려놓고 지켜보지 않았다는 것은 통제의 부재이며, 그 결과에 놀라는 것 자체가 문제라는 지적이다.
'보안'과 '안전'의 분리가 낳은 사각지대
전문가들은 프런티어 랩이 사이버 보안을 우선순위에 두지 않는다고 본다. 특히 오픈AI와 앤트로픽은 보안 관행을 'AI 안전(safety)'이라는 범주에 뭉뚱그려 넣고, 자신들이 그 분야에서 우월한 전문성을 갖고 있다고 믿으며 외부 조언을 거부해 왔다는 것이 9월 세 차례 업계 콘퍼런스에서 인터뷰한 여섯 명 남짓의 전문가들의 공통된 전언이다. 베리빌 머신러닝 연구소 공동창업자 게리 맥그로는 "솔직히 그들은 스스로 생각하는 만큼 뛰어나지 않다"며 포렌식, 보안 엔지니어링, 샌드박스 구축, 네트워크 보안 모니터링 같은 하위 분야에서 고되게 쌓은 전문성을 더 존중해야 한다고 말했다. 리는 AI 안전이 '도로 규칙', 즉 가드레일에 집중하는 반면, 모델을 인터넷에 풀어놓고 무슨 일이 일어나는지 보는 평가 방식이야말로 전통적 보안 도구가 필요한 지점이라고 설명한다. 앤트로픽과 오픈AI는 CSO의 논평 요청에 응하지 않았다.
이 관점은 책임 소재 논쟁과 직결된다. 기본적인 보안으로 줄이거나 없앨 수 있는 사고라면, 랩이 '폭주한' 에이전트에 대해 책임을 져야 한다는 주장에 힘이 실리기 때문이다. 실제로 보험 업계는 AI 기업 경영진에게 책임을 묻는 쪽으로 움직이고 있고, 민주당 상원의원들은 해킹 사고에 대해 에이전트 운영자의 책임을 규정하는 법안을 발의했다. FTC는 앤트로픽과 오픈AI 등을 상대로 소비자 위험에 관한 조사를 진행 중이다. 그럼에도 랩 대표들은 최근 입법·협의회 청문회에서 자사 에이전트의 일탈에 책임이 없다는 입장을 고수했고, 맥그로는 이를 "변호사는 우리 말고 프로그램한테 보내라"는 식의 궤변이라고 꼬집었다.
한국 실무자가 당장 할 수 있는 것
책임 논쟁의 결론이 나기 전에도 CISO와 보안 책임자가 스스로를 보호할 방법은 있다. 맥그로는 프런티어 모델 기반 도구를 평가할 때 외부 전문가의 도움을 받을 것, 리스크를 식별해 적절한 통제를 걸 것, 그리고 AI 도입이 전사적으로 무분별하게 퍼지지 않도록 중앙 집중적 관리 주체를 둘 것을 권한다. 리는 올바른 질문을 던져 더 높은 수준의 보안 역량을 입증할 수 있는 공급사를 가려내는 것이 핵심이라고 말한다. 국내에서도 특정 벤더의 '안전' 주장을 그대로 수용하기보다, 격리와 로깅·모니터링이 실제로 어떻게 구성되는지 계약·실사 단계에서 구체적으로 확인하는 접근이 현실적이다.
다만 이 조언에는 분명한 한계가 있다. 사용자가 통제할 수 있는 것은 자사 환경의 방어선이지 벤더 내부의 설정이 아니며, 랩이 제공하는 격리와 모니터링의 실제 품질은 외부에서 검증하기 어렵다. 결국 가장 확실한 대비는 화려하지 않은 기본기다. 월릭의 표현을 빌리면 이것은 '채소를 먹는' 사이버 버전이다. 모든 계정에 다중 인증을 적용하고 소프트웨어를 보안 중심으로 재설계하는, 이미 방법을 다 아는 방어적 기본 관행을 조직 전반에 갖춰 두는 일이야말로 AI 모델의 오작동에 대비하는 가장 든든한 토대라는 것이다.