재귀적 자기 개선이란
AI 연구에서 오래된 꿈 중 하나가 재귀적 자기 개선(Recursive Self-Improvement, RSI)이에요. 이게 뭐냐면, AI가 자기 자신을 더 똑똑하게 만드는 방법을 찾고, 그렇게 더 똑똑해진 AI가 다시 더 좋은 개선 방법을 찾는, 눈덩이처럼 굴러가는 구조예요. 말은 쉬운데 실제로 하려면 큰 벽이 하나 있어요. 바로 데이터예요. 모델이 더 나아지려면 새로운 문제를 풀어봐야 하는데, 사람이 만든 문제는 유한하고, 인터넷에 있는 텍스트도 이미 거의 다 긁어썼거든요.
아카이브에 올라온 Dream-RSI 논문은 이 벽을 '세계를 진화시키는' 방식으로 넘어보자는 제안이에요. 제목의 Dream은 말 그대로 꿈인데요, 사람이 잠자면서 낮에 겪은 일을 재조합해서 학습하듯, AI가 스스로 가상의 세계(환경)를 만들어내고 그 안에서 훈련한다는 뜻이에요.
핵심 아이디어를 풀어보면
구조를 단순하게 그리면 세 개의 톱니바퀴가 맞물려 돌아가요.
첫째, 세계 생성기예요. 에이전트가 풀어야 할 과제와 환경을 만들어내는 부분이에요. 예를 들면 특정 규칙을 가진 퍼즐, 도구를 조합해야 하는 시뮬레이션, 코드로 정의된 게임 같은 것들이죠. 여기서 중요한 건 이 세계가 고정되어 있지 않고 진화한다는 점이에요. 에이전트가 너무 쉽게 푸는 세계는 도태되고, 너무 어려워서 아무것도 못 배우는 세계도 걸러지고, 딱 '지금 실력보다 조금 더 어려운' 세계가 살아남아 변형되면서 다음 세대를 만들어요. 생물의 진화 알고리즘을 환경 쪽에 적용한 거예요.
둘째, 에이전트예요. 진화된 세계 안에서 과제를 풀면서 강화학습이나 자기 생성 데이터로 학습해요. 여기서 얻은 경험이 모델의 능력을 끌어올리죠.
셋째, 되먹임 고리예요. 더 똑똑해진 에이전트는 더 정교한 세계를 생성하거나 평가할 수 있게 되고, 그 세계가 다시 에이전트를 키워요. 이 순환이 바로 '재귀적'이라는 말의 실체예요. 사람이 매번 새 데이터셋을 만들어 넣어주지 않아도 시스템이 스스로 커리큘럼을 짜는 셈이에요.
'꿈'이라는 비유가 여기서 중요한데요, 세계를 실제 물리 환경이 아니라 모델 내부의 시뮬레이션, 즉 월드 모델 안에서 돌린다는 점이에요. 월드 모델이 뭐냐면, '이 상황에서 이렇게 행동하면 다음에 뭐가 일어날까'를 예측하는 내부 모델이에요. 실제 환경에서 시행착오를 겪으면 비용이 크지만, 상상 속에서 수만 번 돌려보는 건 훨씬 싸거든요.
어디서 온 흐름인지 알면 더 잘 보여요
이 논문은 갑자기 튀어나온 게 아니라 몇 갈래의 연구가 합쳐진 지점에 있어요.
- Dreamer 계열: 다니자르 하프너의 DreamerV3는 월드 모델 안에서 '상상'하며 학습하는 강화학습 에이전트로, 마인크래프트에서 다이아몬드를 캐는 걸 사람 데이터 없이 해냈어요. Dream이라는 이름이 이 계보를 잇는 느낌이에요.
- 환경 진화 계열: POET이나 OMNI-EPIC 같은 연구는 에이전트와 환경을 함께 진화시키는 '오픈엔디드 학습'을 탐구했어요. 환경이 에이전트 실력에 맞춰 계속 새로워지는 구조죠.
- 자기 개선 계열: 최근에는 Absolute Zero Reasoner처럼 모델이 스스로 문제를 내고 풀면서 추론 능력을 키우는 연구, Darwin Gödel Machine처럼 에이전트가 자기 코드를 고쳐가며 성능을 올리는 연구, 구글 딥마인드의 AlphaEvolve처럼 진화 탐색으로 알고리즘을 발견하는 연구가 잇따라 나왔어요.
한국 개발자에게
당장 프로덕션에 가져다 쓸 기술은 아니에요. 하지만 이 흐름이 중요한 이유는, 데이터를 사람이 만드는 시대에서 시스템이 만드는 시대로 넘어가는 신호이기 때문이에요. 지금도 합성 데이터로 모델을 파인튜닝하는 팀이 많잖아요. 그 합성 데이터를 '정적으로 한 번 생성'하는 게 아니라 '모델 실력에 맞춰 계속 진화'시킨다는 관점은 실무에서도 바로 응용해볼 만해요. 예를 들어 코딩 에이전트를 평가할 때, 에이전트가 통과하는 테스트는 버리고 실패하는 테스트를 변형해서 늘려가는 식의 평가 파이프라인은 이 아이디어의 축소판이에요.
강화학습이나 에이전트 연구에 관심 있다면 DreamerV3, POET, Absolute Zero 세 논문을 먼저 읽고 이 논문을 보면 훨씬 잘 들어올 거예요.
정리하면
AI가 스스로 훈련장을 짓고, 그 훈련장을 키우면서 함께 성장한다. 이게 Dream-RSI의 한 줄 요약이에요.
여러분은 어떻게 보세요? 자기가 만든 세계에서 학습한 능력이 진짜 세계에서도 통할까요? 그리고 이런 자기 개선 루프에 사람이 개입할 지점은 어디여야 할까요?
🔗 출처: Hacker News