英美 AI안전기관, 킴리 K3 사이버 능력 평가…오픈웨이트 최강이지만 미국 모델엔 못 미쳐

영국 AI보안연구소(UK AISI)와 미국 AI표준혁신센터(CAISI)가 문샷AI의 최신 모델 킴리(Kimi) K3의 사이버 공격 능력을 공동 평가한 예비 결과를 내놓았다. 킴리 K3는 2026년 7월 16일 공개됐고, 오픈웨이트(가중치 공개) 배포는 7월 27일로 예정돼 있다. 모델 가중치가 누구나 내려받을 수 있는 형태로 풀리기 직전에, 두 국가기관이 이 모델의 공격적 사이버 역량을 미리 측정했다는 점이 이번 평가의 핵심 맥락이다. 가중치가 공개되면 안전장치를 우회하거나 제거한 파생 모델이 나올 수 있어, 배포 전 능력 상한을 파악해 두려는 의도로 읽힌다.

평가 방식은 두 가지 벤치마크를 축으로 한다. 하나는 카네기멜런대가 개발한 공개 벤치마크 ExploitBench로, 크롬을 구동하는 V8 엔진(자바스크립트·웹어셈블리 처리)에서 2023년 이후 발견된 취약점 41개를 대상으로 한다. 이 벤치마크는 '익스플로잇 사다리(exploitation ladder)', 즉 크래시 재현부터 임의 읽기/쓰기, 제어 흐름 탈취, 최종적으로 임의 코드 실행(ACE)에 이르는 단계별 도달 능력을 측정한다. 다른 하나는 'The Last Ones(TLO)'라는 사이버 레인지로, 4개 서브넷과 약 20개 호스트로 구성된 32단계 기업망 침투 시나리오다. 숙련된 전문가가 약 20시간에 걸쳐 수행할 분량으로 설계돼, 초기 침투 지점부터 자율적으로 공격을 이어가는 능력을 본다.

오픈웨이트 진영에서는 앞서다

결과를 보면 킴리 K3는 오픈웨이트 모델 중에서는 가장 강한 편에 속한다. ExploitBench에서 32%를 기록해, 2026년 6월 기준 가장 사이버 역량이 높았던 오픈웨이트 모델 GLM-5.2의 24%를 앞섰다. TLO에서도 1억 토큰 한도 내에서 평균 17단계까지 도달해, 같은 조건에서 11단계에 그친 GLM-5.2를 넘어섰다. 10회 시도 중 1회는 토큰 한도 안에서 TLO 전체 시나리오를 완주하기도 했다. 이는 방어가 취약하고 명확한 공격 경로가 존재하는 소규모 기업 시스템이라면, 초기 접근이 주어졌을 때 킴리 K3가 자율적으로 침투를 완수할 수 있음을 시사한다.

미국 프런티어 모델과의 격차

다만 미국의 최상위 폐쇄형(closed-weight) 모델과 비교하면 격차가 뚜렷하다. ExploitBench의 최종 관문인 임의 코드 실행에서 킴리 K3는 41개 과제 중 0개를 해결하는 데 그쳤다. 반면 가장 역량이 높은 모델들은 평균 20개에서 ACE에 도달했다. 임의 코드 실행은 공격자가 대상 시스템을 실제로 장악하는 가장 치명적인 단계인데, 킴리 K3는 여기까지는 전혀 이르지 못한 것이다. TLO에서도 킴리 K3의 평균 17단계는 미국 상위 모델들의 평균 28.5단계에 크게 못 미쳤다. TLO 완주 역시 이미 네 개의 폐쇄형 상용 모델이 성공한 바 있고, 그중 최상위 모델은 10회 중 6~7회로 안정적으로 풀어냈다. 킴리 K3의 1/10과는 신뢰도에서 차이가 크다.

실무자가 유의할 해석의 한계

한국 실무자 입장에서 이 수치를 읽을 때는 평가의 전제 조건을 함께 봐야 한다. 우선 이번 결과는 공개·비공개 벤치마크의 소규모 집합에 대한 예비 평가다. 특히 킴리 K3의 종합 사이버 역량은 ExploitBench 단일 벤치마크(41개 과제)만으로 추정돼 신뢰구간이 다른 모델보다 넓다. 반면 비교 대상 모델들은 더 많은 과제와 영역에 걸쳐 점수가 산출됐다. 또한 미국 폐쇄형 모델은 거부 응답을 줄여 최대 역량을 재기 위해 시스템 수준 안전장치를 끈 상태로 평가됐다는 점도 유념해야 한다. 실제 공개 버전에는 이 안전장치가 켜져 있어, 표에 나타난 수치는 일반 사용 환경의 능력이 아니라 상한선에 가깝다.

TLO 환경 자체의 한계도 분명하다. 이 사이버 레인지에는 능동적인 방어자나 방어 도구가 없고, 보안 경보를 유발할 행동에도 아무런 불이익이 없으며, 의도적으로 설계된 공격 경로가 존재한다. 실제 기업망은 탐지·대응 체계가 작동하고 공격 경로가 명확히 열려 있지 않다는 점에서, 통제된 시험 환경의 성적을 그대로 현실 위협으로 환산하기는 어렵다. 그럼에도 이번 평가가 던지는 신호는 명확하다. 자율적 침투 능력이 더 이상 소수 최상위 모델의 전유물이 아니며, 곧 가중치가 공개될 모델도 방어가 허술한 시스템에는 위협이 될 수 있는 수준에 접근하고 있다는 것이다. 방어 측 입장에서는 기본적인 취약점 관리와 탐지 체계의 중요성이, 능력이 상향 평준화되는 흐름 속에서 오히려 더 커지고 있는 셈이다.