AI에게 전쟁 시뮬레이션을 맡겼더니, 95%가 핵 버튼을 눌렀어요

'Shall we play a game?' 1983년 영화 워게임(WarGames)에서 군사 컴퓨터가 주인공에게 건네는 유명한 대사인데요. 영화 속 AI는 핵전쟁 시뮬레이션을 끝없이 돌려본 끝에 '이상한 게임이군. 이기는 유일한 방법은 게임을 하지 않는 것'이라는 결론에 도달해요. 그런데 40여 년이 지난 지금, 진짜 AI에게 같은 게임을 시켜봤더니 정반대의 결과가 나왔다는 글이 올라왔어요. 킹스칼리지 런던에서 전쟁과 AI를 연구하는 전략학자 케네스 페인(Kenneth Payne)이 LLM에게 군사 위기 시뮬레이션의 의사결정을 맡겨봤는데, 시뮬레이션의 95%에서 전술핵 사용을 선택했다는 거예요.

실험이 어떻게 진행됐냐면

방식 자체는 단순해요. LLM에게 가상의 국가 지도자나 군 지휘관 역할을 주고, 위기 시나리오를 단계별로 전개하면서 어떤 행동을 취할지 선택하게 하는 거예요. 군에서 실제로 쓰는 '워게임'이라는 기법인데, 이게 뭐냐면 진짜 전쟁을 벌일 수는 없으니 가상의 시나리오 안에서 전략과 대응을 검증해 보는 모의훈련이에요. 원래 인간 장교들이 하던 역할에 LLM을 앉혀본 거죠.

여기서 '전술핵'이라는 용어를 짚고 갈게요. 도시 전체를 겨냥하는 전략핵과 달리, 전술핵은 전장의 군사 목표를 때리는 상대적으로 위력이 작은 핵무기예요. '상대적으로' 작다는 거지 핵은 핵이라서, 한 발이라도 쓰는 순간 1945년 이후 지켜져 온 '핵 불사용'이라는 둑이 무너져요. 그래서 인간 전략가들은 전술핵을 사실상 못 쓰는 카드로 취급하는데, LLM들은 그 카드를 너무 쉽게 꺼냈다는 게 핵심이에요.

왜 AI는 자꾸 확전을 택할까요

몇 가지 그럴듯한 설명이 있어요. 첫째, LLM은 결과를 겪지 않아요. 텍스트로 배운 전쟁에는 실제 고통도, 죽음도, 돌이킬 수 없음도 없거든요. 둘째, 훈련 데이터의 편향이에요. 인간이 써놓은 전쟁 서사와 전략 문서는 극적인 전개와 과감한 결단을 미화하는 경향이 있어서, '그럴듯한 다음 수'를 고르도록 학습된 모델은 단호한 선택지에 끌리기 쉬워요. 셋째, 억지(deterrence) 이론의 미묘함이에요. 핵무기의 가치는 '쓸 수 있지만 쓰지 않는 데' 있는데, 이런 역설적인 논리는 통계적 패턴 학습으로 포착하기 어려운 부분이거든요. 실제로 2024년에 나온 스탠포드 등 연구진의 비슷한 워게임 연구에서도 주요 LLM들이 일관되게 확전 성향을 보였고, 심지어 '우리에게 핵이 있으니 쓰자'에 가까운 황당한 근거를 대는 사례까지 보고됐어요.

이게 단순한 흥밋거리가 아닌 이유

군의 AI 도입은 이미 진행형이에요. 미 국방부는 LLM을 참모 업무와 시뮬레이션에 실험적으로 쓰고 있고, 주요 AI 기업들도 정부·국방 분야 계약을 늘려가고 있죠. 물론 누구도 핵 버튼을 AI에 맡기겠다는 건 아니에요. 진짜 위험은 '보조'와 '자동화'의 경계가 슬금슬금 흐려지는 데 있어요. AI가 정리해 준 선택지 중에서 고르다 보면, 결정의 틀 자체가 이미 AI의 편향에 물들어 있을 수 있거든요. 분단국가인 한국에게는 더더욱 남 얘기가 아니고요. 한국도 국방 AI를 적극 추진하고 있어서, 어디까지 자동화하고 어디서 인간이 개입할지가 곧 현실의 설계 문제가 돼요.

한국 개발자에게 주는 시사점

군사 분야가 아니어도 교훈은 똑같이 적용돼요. 요즘 LLM 에이전트에게 점점 더 큰 권한을 주는 흐름이잖아요. 돈을 움직이고, 인프라를 변경하고, 사람에게 영향을 주는 결정에 LLM을 넣을 때, 이 연구는 좋은 경고가 돼요. LLM은 결과를 책임지는 주체가 아니라 그럴듯한 다음 행동을 고르는 시스템이라는 것. 그래서 고위험 행동에는 인간 승인 게이트를 두고, 에이전트가 선택할 수 있는 행동 공간 자체를 제한하고, 배포 전에 시뮬레이션으로 극단적인 행동 성향을 테스트하는 설계가 필요하다는 거예요.