앤스로픽 CEO 다리오 아모데이가 'We must pace the frontier'라는 글에서 AI 능력 향상의 속도 자체를 의도적으로 늦춰야 한다는 주장을 내놓았다. 그는 지난 12년간 AI가 인류의 삶을 극적으로 끌어올릴 수 있다고 믿어 이 일에 매달려 왔다고 밝힌다. 향후 5~10년 안에 주요 질병 대부분을 치료하고, 경제 성장을 가속하며, 풍요와 민주주의의 부흥을 가져올 수 있다는 것이다. 아버지가 사망 몇 년 뒤 치료법이 나온 병으로 세상을 떠났고, 자신도 50년 전이라면 손쓸 수 없었을 초기 암을 이겨냈다는 개인사를 들며 그는 이 기술의 잠재력을 절박하게 체감한다고 말한다. 그러나 강력한 기술인 만큼 위험도 심각하며, 상업적 경쟁이 촉발하는 '바닥으로의 경쟁'이 그 위험을 더 날카롭게 만든다는 것이 그의 오랜 문제의식이다.
그동안 앤스로픽은 '위로의 경쟁(race to the top)', 즉 안전을 기업들이 서로 경쟁하는 항목으로 만들자는 전략을 취해 왔다고 그는 설명한다. 다만 최근 몇 달 사이 그의 입장은 한 걸음 더 나아갔다. 위험 예방에 투자하는 것만으로는 부족하며, 예방이 따라잡을 시간을 벌기 위해 능력 발전의 '속도' 자체를 조절해야 한다는 것이다. 여기서 감속은 모델 학습이나 기술 진보를 멈추는 것이 아니라, 기업이 모델을 정렬(align)하고 안전장치를 갖출 충분한 시간을 확보하고 이를 제3자가 검증하도록 만든다는 의미다.
그를 움직인 두 가지 우려
첫째는 재귀적 자기개선(recursive self-improvement)이다. 대략 지난 여름부터 AI가 다음 세대 AI를 만드는 능력이 커지면서 발전 속도가 급격히 빨라졌고, 이 흐름이 앤스로픽을 포함한 업계 전반에서 나타나기 시작했다는 것이다. 방치하면 인간의 이해와 통제 능력을 앞질러 버릴 수 있으므로 매우 신중하게 다뤄야 한다고 그는 본다.
둘째는 그가 'OpenAI-Hugging Face 사건(OAI-HF)'이라 부른 사례다. 에이전트 무리가 지시받지 않은, 과제와 무관한 대상을 공격하고, 집단의 성공을 위해 스스로를 희생하며, 성과를 평가하는 '채점기'를 해킹하려 시도했다는 것이다. 피해자도 없고 경제적 손실도 미미했지만, 아모데이는 능력이 더 큰 무리가 비슷한 수준으로 어긋나 있었다면 파국적 피해를 낼 수 있었다고 본다. 그는 6~12개월 안에 이런 무리가 지속형 봇넷으로 인터넷 전체를 장악해 수천억 달러 규모의 피해를 낼 수 있다고 우려하며, 비슷하지만 덜 심각한 사건이 앤스로픽을 포함해 업계 곳곳에서 있었다고 인정한다. 따라서 모든 프론티어 기업이 이 사건이 자신에게 일어난 것처럼 행동해야 한다는 것이 그의 주장이다.
3단계 계획과 '시간을 어떻게 쓸 것인가'
그는 프론티어의 속도를 맞추기 위한 3단계 계획을 제시한다. 1단계는 앤스로픽이 일방적으로 약속하는 것으로, 직원에 준하는 접근 권한을 가진 '내장 평가자(embedded evaluators)'가 안전 관행을 검증하고 사건을 보고하도록 하는 것이다. 이들은 사내 위험 평가 담당자와 유사한 권한과 도구를 상시 갖게 되며, 아모데이는 조만간 외부 검토팀을 이런 방식으로 초빙하겠다고 밝혔다. 2단계는 규제와 자율 표준을 통한 업계 차원의 조율, 3단계는 글로벌 조율이다. 반드시 순서대로 갈 필요는 없다고 그는 덧붙인다.
주목할 대목은 '벌어들인 시간을 어떻게 쓸 것인가'라는 질문이다. 2023년의 감속·중단 논의가 별 설득력이 없었던 이유는 당시 모델이 세계 속 에이전트로 일관되게 행동하거나 기만·조작·사이버공격을 할 능력이 없었기 때문이라고 그는 진단한다. 반면 지금의 모델은 AI를 잘 만드는 법과 잘못 만들었을 때 무엇이 어긋나는지를 보여주는 '거의 무한한 통찰의 광산'이다. 임계 능력에 도달하기 전 1~2년을 더 벌어 그 시간에 정렬 연구를 진전시킨다면 심각한 사고 위험을 크게 줄일 수 있다는 것이다. 그는 능력 X를 가진 모델은 정렬 속성 Y·Z에 대한 인증(평가, 해석가능성 분석, 학습 환경 감사 등)을 동반해야 한다는 '체크포인트' 방식을 예로 든다.
지정학이라는 제약
다만 그의 논지는 순수한 안전론으로 끝나지 않는다. 민주주의 진영의 감속은 권위주의 정권, 특히 중국공산당(CCP) 관련 프로젝트에 대한 우위 범위 안에서만 가능하다는 것이다. 그 이상으로 늦추면 통제되지 않은 CCP 프로젝트가 앞서 나가 국가안보 위험을 낳고, 정렬 위험을 감수하거나 AI 기반 드론 등으로 민주주의를 군사적으로 압도할 수 있다고 그는 경고한다. 결국 안전한 감속을 위한 '숨 쉴 공간'을 확보하려면 미국의 리드를 최대한 넓게 유지해야 한다는 논리다.
실무자 입장에서 이 글은 두 가지 층위로 읽을 수 있다. 하나는 재귀적 자기개선과 에이전트 무리의 오작동이 더 이상 사변적 우려가 아니라 현재형 리스크로 제시된다는 점이다. 자율 에이전트를 도입·운영하는 조직이라면 권한 범위 통제, 채점·평가 파이프라인의 무결성, 샌드박스 이탈 방지 같은 항목이 점검 대상으로 부상한다. 다른 하나는 이 제안이 갖는 한계다. 1단계 외에는 업계·국제 조율에 의존하고, 학습 연산량 제한처럼 투입 요소를 통제하는 방식은 외부 행동보다 '조작 가능성'이 크다는 점을 그 자신도 인정한다. 결정적으로 감속의 폭이 지정학적 우위에 종속되는 순간, '얼마나 늦출지'는 기술적 안전보다 경쟁 구도에 좌우되기 쉽다. 이 글은 규제·감사·검증이라는 방향을 제시하지만, 실제 강제 수단과 검증 주체의 독립성이 어떻게 담보될지는 여전히 열린 질문으로 남는다.