이번 주 "AI가 우리 모두를 죽일 것"이라는 취지의 주장이 다시 확산됐다. 한 종사자가 그런 일이 벌어질 개인적 확률을 10% 이상으로 잡았다는 이야기가 도화선이 됐고, 위키백과의 P(doom) 항목까지 소환됐다. 앤스로픽의 다리오 아모데이 역시 나쁜 일이 벌어질 확률을 10~25% 수준으로 보는 것으로 알려져 있으며, 그는 이른바 '프런티어의 속도 조절(pacing the frontier)'을 주장하는 글을 썼다. 샘 올트먼도, 일론 머스크도 여기에 동조했다. 개발자 아르민 로나허(pocoo 저자)는 이 논의의 관찰과 우려에는 상당 부분 동의하면서도, 결론에는 강하게 반대한다는 입장을 자신의 블로그에 정리했다.
아모데이가 그린 시나리오 자체는 과장이 아니다. 끈질기게 살아남는 봇넷과 각종 성가신 위협 같은, 우리가 맞서 싸워야 할 분명한 결과들이다. 위키백과에는 이미 '2026 OpenAI 에이전트 사이버공격'이라는 항목이 있고, 로나허는 여기에 RubyGems 오염 사례처럼 아직 반영되지 않은 사건들도 있다고 지적한다. 이런 시스템은 소재만 파악되면 끌 수 있지만, 문제는 OpenAI와 앤스로픽이 워낙 큰 규모로 운영되다 보니 자기 시스템이 무슨 일을 벌이는지조차 파악하지 못하는 것처럼 보인다는 점이다.
누구를 위한 속도 조절인가
로나허가 가장 냉소하는 지점은 '속도를 조절할 대상'이 있다는 전제다. 지금 이 시장에서 실질적으로 의미 있는 회사는 앤스로픽과 OpenAI 둘뿐이고, 둘은 사실상 같은 뿌리에서 나왔다. 해법으로 제시된 제3자 평가기관 METR 역시 두 회사와 강한 연결고리를 갖는다. 철학적 차이가 있다지만, 이들은 다른 점보다 닮은 점이 훨씬 많다. 그런데 지금 우리는 '학습 데이터가 너무 위험하니 소수의 미국 기업이 누가 무엇을 할지 결정해야 한다'는 논리를 마주하고 있다. 게다가 여기에는 중국에 대한 견제가 노골적으로 얹혀 있다. 앤스로픽 API의 최근 정책 변화들은 중국 측의 증류(distillation)를 막기 위한 것임을 굳이 숨기지도 않는다.
오픈 웨이트가 곧 속도 조절이다
로나허의 대안은 역설적이다. 애초에 오픈 웨이트 모델이 강제됐다면 안전과 속도 조절 논의는 훨씬 덜 절박했으리라는 것이다. 누구나 쓸 수 있는 강력한 기술에는 그 자체로 속도 조절 기제가 내장되며, 이는 일종의 상호확증파괴에 가깝다. 그는 오히려 중국 연구소들이 미국 모델을 증류해 오픈 웨이트로 풀어준 덕분에, 특히 유럽 같은 처지에서는 최악을 면했다고 본다. 지금 실제로 문제를 일으키는 모델들이 전부 폐쇄형 미국 모델이라는 사실도 그의 논거다. 서빙 경제가 이토록 왜곡된 것은 대형 랩이 막대한 적자를 감수하며(그는 OpenAI가 한 문제를 무차별 대입으로 풀려고 1,800만 달러를 태웠다고 언급한다) 시장을 교란하기 때문이라는 것이다.
로나허는 이 모든 것을 전방위적 규제 실패로 규정한다. 유럽의 AI 규제는 2년이나 묵어 정작 존재하는 문제는 비껴가고 아무도 겪지 않는 문제에 집중하며, 미국은 극단적 자본주의와 중국 공포증, 종잡을 수 없는 결정이 뒤섞여 있다. 그 혼돈 속에서 현실이 드러난다. 기존 법은 대체로 무시되고, 학습에 써도 좋다고 동의한 적 없는 데이터가 여기저기서 거래된다. 토큰 경제는 마약 시장처럼 요청이 어디로 가는지, 어떤 모델이 응답하는지, GPU가 어디서 돌아가는지, 무엇에 돈을 내는지조차 알 수 없다. 자신이 ChatGPT에 입력한 아이디어가 미래 모델 학습에 쓰일까 두려워하는 수학자들이 등장했고, OpenAI조차 그 가능성을 배제하지 못한다.
주목할 점은 그가 멸종론자가 아니라는 것이다. 누구도 속도를 늦추지 않더라도 인류가 크게 걱정할 일은 없으며, 오히려 평판과 법적 책임에서 잃을 게 많은 쪽은 대형 랩이라고 본다. 그가 실제로 우려하는 것은 인류 멸망이 아니라 '광범위한 손상'이다. 재귀적 자기 개선이 사회를 끝내지는 않아도 도처에 막대한 피해를 남기고, 우리가 하던 많은 일을 더 비싸게 만들 수 있다는 것이다.
한국 IT 실무자에게 이 글의 실질적 함의는 마지막 대목에 있다. 그는 소프트웨어 엔지니어링을 그 첫 희생자로 꼽는다. 새로 얻은 능력은 결국 모델 제공사에 내는 일종의 '세금'으로 귀결됐다는 것이다. 새로운 속도를 따라가기 위해, 그리고 이 기계들이 사방에서 찾아내는 보안 취약점을 감당하기 위해 지불해야 하는 비용이다. 이 흐름은 대학과 연구 그룹으로도 번져, 남들에게 뒤처지지 않으려 폐쇄형 모델에 돈을 쏟게 만들 것이다. 다만 이는 어디까지나 특정 개발자의 논평이며, P(doom) 수치나 랩 간 역학에 대한 그의 해석은 검증된 사실이 아니라 하나의 관점으로 읽어야 한다. 그럼에도 '멸종이냐 아니냐'라는 자극적 프레임에 가려진 실제 청구서 — 벤더 종속과 비용 전가 — 를 직시하라는 그의 문제 제기는, 도구 도입을 검토하는 현장에 더 유효한 질문을 던진다.