인공지능이 스스로를 개선하며 폭발적으로 능력을 끌어올리는 '재귀적 자기개선(RSI)'은 초지능 논의의 핵심 시나리오다. 만약 인간보다 AI 연구를 조금이라도 잘하는 에이전트가 등장하면, 그것을 수십만·수백만 개 병렬로, 그리고 칩이 빨라질수록 훨씬 빠르게 돌릴 수 있으니 다른 모든 병목을 압도하고 빠른 이륙이 시작된다는 논리다. 이번 대화에서 존 슐먼(Thinking Machines 수석 과학자, OpenAI 공동창업자이자 ChatGPT로 이어진 RLHF 연구를 주도), 베렌 밀리지(오픈소스 모델을 개발하는 Zyphra의 CTO), 찰리 오닐(Baseten 모델 학습 총괄)은 이 낙관론을 정면으로 반박하기보다, 그것이 어긋날 수 있는 기술적 경로를 진지하게 짚었다.
출발점은 하나의 사고 실험이었다. 전쟁이나 규제 같은 외부 충격을 제외하고, 2036년에도 세상이 초지능으로 뒤집히지 않았다면 그 가장 유력한 기술적 이유는 무엇인가. 세 사람이 공통으로 지목한 것은 '일반화'의 불확실성이다. 모라벡의 역설처럼, AI가 어려운 수학 문제나 체스를 정복해도 현실 세계의 파급력은 기대만큼 크지 않았다. 벤치마크나 학습 환경에 넣은 과제는 무엇이든 잘하게 되지만, 여전히 시뮬레이션과 현실 사이의 간극(sim-to-real gap)이 남아 있고, 메타학습과 지속학습(continual learning)이 끝내 풀리지 않는다면 능력은 어느 지점에서 점근선처럼 평탄해질 수 있다는 것이다.
반복되는 'AGI 착시'와 R&D 병목
슐먼은 현장에서 되풀이되는 순환을 짚었다. 새 모델이 나오면 사람들은 '이것이 AGI'라며 압도되지만, 한 달쯤 쓰다 보면 다시 멍청하게 느껴진다는 것이다. 모델은 인간의 약점 영역, 특히 판단력이 떨어지거나 스스로를 검증하지 못하는 지점에서 병목에 걸린다. 그래서 사람보다 훨씬 많은 코드를 짜더라도 연구·엔지니어링 생산성을 100배로 끌어올리지는 못한다. 이 순환이 몇 번이나 더 반복될지는 예측하기 어렵다는 것이 그의 진단이다.
다음 도약은 지금 방식으로 발견될까
밀리지는 무어의 법칙을 비유로 들었다. 오랫동안 곧게 뻗은 직선처럼 보였지만, 그 곡선을 유지하기 위해 수많은 불연속적 혁신이 필요했다. LLM도 마찬가지여서, 사전학습 스케일링이 수확 체감에 부딪히자 RL이 등장해 다시 상승 곡선을 만들어냈다. 문제는 다음 도약이 또 다른 불연속을 요구할 때, 자기 개선을 �냥한 RL 환경으로 학습된 현재의 LLM이 과연 그 불연속을 스스로 발견할 수 있느냐다. 우리가 도달할 수 있는 학습기의 전역 최적점에서 지금의 '트랜스포머+RL' 조합이 너무 멀리 떨어져 있다면, 아무리 많은 LLM을 병렬로 돌려도 경사하강법과 신경망이라는 틀 자체를 넘어서는 발상에는 이르지 못할 수 있다.
반대편의 근거도 강력하다. 오닐은 1980년대 이후 체스 봇의 Elo 점수가 시간에 따라 거의 선형으로 올랐지만, 인간 전문가 구간을 통과하는 순간 '전문가가 늘 이기던' 상태에서 '전문가가 결코 이기지 못하는' 상태로 급격히 전환됐다고 지적한다. 지금 AI의 경제적 충격이 작게 느껴지는 것은 인간 대비 Elo가 아직 서서히 오르는 중이기 때문이며, 곧 인간 구간을 통과하기 시작하면 체감은 불연속적으로 달라진다는 것이다. 이 관점에서 보면 2035년까지 세상이 평온하게 유지되려면, 능력이 인간 구간을 넘기 직전에 점근선에 걸리거나 강력한 규제가 개입해야 한다.
대화는 목적함수를 깔끔히 정의할 수 있는 '자동연구' 스타일과, 패러다임 전환에 필요한 열린(open-ended) 과학을 구분한다. 라이언 그린블랫이 제기했듯 후자는 목표 자체를 명확히 지정할 수 없고, AI도 그 목표를 스스로 규정하지 못한다. 슐먼은 초기 OpenAI 시절 다음 토큰 예측의 로그 손실 최소화만으로는 지능에 이르지 못하리라 봤다고 회고했다. 중요한 정보가 손실에서 차지하는 비중이 너무 작아 노이즈에 묻힐 것이라 여겼고 더 나은 목적함수가 필요하다고 생각했지만, 결국 그냥 작동해버렸다는 것이다.
한국의 실무자에게 이 논쟁이 주는 함의는 분명하다. 벤치마크나 사후학습 지표의 상승이 곧 사용자가 원하는 가치나 실제 생산성으로 이어진다는 보장은 없다. 이 분야의 가장 중요한 진보는 우리가 기대할 근거가 없던 종류의 일반화, 특히 분포 밖(out-of-distribution) 일반화에서 나왔고, 그것은 사전에 예측하기 어렵다. 따라서 RSI를 임박한 확정 사실로 전제하고 조직 전략을 짜기보다, 능력 곡선이 언제 어떤 영역에서 급격히 인간 구간을 넘는지를 관찰하며 검증 역량과 판단이 필요한 병목 지점을 함께 점검하는 편이 현실적이다.