인공지능을 둘러싼 위험 논의는 대체로 두 갈래로 갈린다. 하나는 편향·허위정보·일자리처럼 이미 눈앞에 있는 문제이고, 다른 하나는 인류 전체의 존속을 위협하는 극단적 파국이다. arXiv에 공개된 2025년 보고서 「A taxonomy of omnicidal futures involving artificial intelligence」는 두 번째 갈래, 그중에서도 가장 무거운 끝을 정면으로 다룬다. 여기서 'omnicide'란 모든 혹은 거의 모든 인간이 사망하는 상황을 가리키며, 저자들은 이런 결과로 이어질 수 있는 시나리오들을 유형별로 분류(taxonomy)하고 예시를 제시한다.
중요한 것은 이 보고서가 파국을 예언하지 않는다는 점이다. 저자들은 이런 사건들이 '필연'이 아니라 우리가 노력해서 피할 수 있는 '가능성'이라고 못박는다. 굳이 이런 어두운 시나리오를 공개적으로 늘어놓는 이유도 분명하다. 큰 기관이 예방적 조치를 취하려면 어느 정도의 대중적 지지가 필요하고, 위험의 구체적 모습을 공론장에 올려놓아야 그 지지가 형성된다는 판단이다. 두려움을 조장하려는 것이 아니라, 대비를 위한 사회적 합의를 끌어내려는 문서라는 자기규정인 셈이다.
왜 '공포'가 아니라 '분류'인가
막연한 종말 서사는 대응을 만들어내지 못한다. '언젠가 AI가 위험해질 수 있다'는 문장은 감정적 반응은 일으키지만, 무엇을 규제하고 무엇을 점검해야 하는지는 알려주지 못하기 때문이다. 위험 연구에서 분류학이 하는 일이 바로 여기에 있다. 하나의 뭉뚱그려진 공포를 서로 다른 인과 경로로 쪼개면, 각 경로마다 어디에 개입점이 있는지, 어떤 주체가 무엇을 막을 수 있는지가 드러난다. 이 보고서가 개별 예측의 정확도보다 '유형화'라는 형식을 택한 것은, 논의를 감정에서 구조로 옮기려는 시도로 읽을 수 있다.
한국 IT 실무자에게 주는 의미
대부분의 개발자와 기획자에게 인류 절멸 시나리오는 일상 업무와 아득히 멀게 느껴질 것이다. 실제로도 그렇다. 그러나 이런 극단 논의가 만들어내는 파장은 훨씬 가까운 곳까지 미친다. 최근 몇 년간 각국의 AI 규제, 프런티어 모델에 대한 안전성 평가, 레드팀·정렬(alignment) 검증 요구는 바로 이 '파국 가능성' 담론을 배경으로 강화돼 왔다. 절멸 시나리오 자체를 믿든 안 믿든, 그 담론이 만들어내는 컴플라이언스 요구와 안전 문서화 관행은 실제 제품 개발 프로세스에 스며든다. 대형 모델을 다루거나 자율성이 높은 에이전트를 설계하는 조직이라면, 이런 논의의 언어와 프레임을 이해해 두는 것이 규제 대응과 신뢰 확보 양면에서 실용적이다.
또 하나 눈여겨볼 것은 '공개'라는 전략 자체다. 위험 정보를 비공개로 두어 오용을 막을지, 공개해 사회적 감시와 대비를 유도할지는 보안·안전 분야의 오래된 딜레마다. 이 보고서는 후자를 택하면서, 예방 조치의 정당성은 결국 대중의 이해에서 나온다는 입장을 취한다. 취약점 공개(disclosure) 문화에 익숙한 실무자라면 낯설지 않은 논리이며, AI 안전 영역에서도 같은 긴장이 반복되고 있음을 보여준다.
한계와 읽는 태도
동시에 이 문서의 성격을 오해하지 않는 것이 중요하다. 이것은 실증 데이터로 검증된 예측이 아니라, 일어날 수 있는 경로를 상상하고 정리한 포사이트(foresight) 성격의 작업이다. 각 시나리오에 정량적 발생 확률이 붙는 것도 아니고, 반증하기도 어렵다. 그런 만큼 결론을 '이렇게 될 것이다'로 받아들이기보다 '이런 실패 모드를 미리 점검하자'는 체크리스트에 가깝게 다루는 편이 생산적이다. 또한 지금 확인 가능한 것은 보고서의 요지 수준이므로, 개별 유형의 구체적 정의나 예시가 필요하다면 원문을 직접 확인하는 편이 정확하다.
결국 이 연구의 가치는 '얼마나 무서운가'가 아니라 '무엇을 대비 가능한 문제로 바꿔놓았는가'에 있다. 절멸이라는 극단을 다루면서도 그것을 운명이 아닌 선택의 문제로 재구성한다는 점에서, 이 보고서는 AI 안전 논의를 감정의 영역에서 정책과 실무의 영역으로 끌어내리려는 시도로 볼 만하다.