인간이 쌓아온 지식의 경계를 넘어서는 AI를 만들려 할 때 근본적인 난제가 하나 등장한다. 그 경계에서는 사람 전문가조차 결과의 옳고 그름을 판단하기 어렵다. 어떤 발견이 타당한지 확인하려면 희소한 전문성이나 값비싼 실험, 때로는 제안을 만드는 것보다 훨씬 오래 걸리는 검증이 필요하기 때문이다. 사카나 AI가 공개한 MASS(Multi-Agent Self-Supervision)는 바로 이 지점에서 출발한다. 채점 규칙이 존재하지 않는 '검증 불가능한' 과제에서는 결국 모델 자신이 가장 유능한 감독자일 수밖에 없다는 전제다.
하나의 모델이 세 역할을 맡다
MASS의 핵심은 동질적 재귀 자기개선(homogeneous RSI)이라는 구조다. 하나의 공유 언어 모델이 과제를 푸는 실행자(피최적화 대상), 팀의 작업 방식을 다듬는 최적화자, 그리고 결과물을 비교·판정하는 평가자라는 세 역할을 동시에 맡는다. 학습은 두 겹의 순환으로 돌아간다. 안쪽 순환은 모델 가중치를 고정한 채 팀의 '워크플로'만 탐색해 개선하고, 바깥쪽 순환은 그렇게 다듬어진 워크플로의 실행 기록을 학습해 가중치를 갱신한다. 갱신된 모델이 다시 세 역할을 모두 맡아 과정을 반복한다. 요컨대 여러 에이전트가 협업하며 만들어낸 집단지성을 공유 모델 안으로 증류해 넣는 셈이다.
여기서 워크플로란 다중 에이전트 팀이 어떻게 함께 일할지 적어둔 계획서다. 역할(roles), 지시(instructions), 계약(contracts), 전달(hops)이라는 네 요소로 구성되며 과제 프롬프트에 덧붙여져 모델이 들여다보고 수정할 수 있게 된다. 논문에 소개된 금융 워크플로 사례가 직관적이다. 데이터 준비·피처 구성·모델링·백테스트를 순서대로 배치하고 마지막에 감사 단계를 둔 뒤, 데이터 계약에 '시점 검증'을 명시한다. 과거 의사결정이 미래 정보를 쓰도록 허용하면 백테스트는 그럴듯해 보여도 사실상 미래 정보를 훔쳐보는 오류가 된다. 계약은 데이터 담당 에이전트에게 이 누수를 점검하고 시간 분할이 유효한지 보고하도록, 또 뒤따르는 에이전트가 넘겨받아야 할 증거가 무엇인지까지 규정한다.
외부 심판으로 측정한 성과
자기지도 학습의 맹점은 '스스로 좋다고 판단한 것이 정말 좋은가'를 알 수 없다는 데 있다. 연구진은 이를 우회하기 위해 완성된 결과물을 GPT-5.5와 Claude Opus 4.8에게 별도로 평가하게 했고, 그 판정은 MASS 학습 과정에서 철저히 배제했다. 모델 스스로가 감독하는 과정을 외부 잣대로 검증한 것이다. 실험은 Qwen3.6-27B를 출발점으로 삼아 금융·로보틱스·제약 세 영역의 합성 연구 과제 12개(학습 9개, 테스트 3개) 위에서 두 라운드에 걸쳐 진행됐다.
결과를 보면 테스트 과제에서 기본 모델 대비 승률이 1라운드 후 53.9%, 2라운드 후 69.9%로 올랐고 2라운드 모델은 1라운드 모델과의 비교에서도 60.8%를 기록했다. 공개 벤치마크로의 전이에서는 출력 토큰당 점수가 MLR-Bench, DSBench, ScienceAgentBench, AstaBench에서 기본 모델의 1.2~1.6배에 달했다. 다만 전이가 고르지는 않았다. 학습 과제와 성격이 다른 Terminal-Bench 2.0에서는 0.96배, SWE-bench Verified에서는 0.94배로 오히려 소폭 밀렸다. 연구진은 소프트웨어 엔지니어링 과제를 학습 데이터에 넣으면 해소될 문제로 본다.
역할 일반화와 조율의 가치
흥미로운 관찰은 '역할 일반화'다. 모델을 과제 풀이 기록만으로 학습시켰는데도 워크플로 최적화자와 평가자 능력이 함께 향상됐다. 평가자의 판정이 외부 강력 심판들과 일치하는 비율은 세 주기에 걸쳐 73%에서 93%로 올랐고, 기본 모델에 1라운드 워크플로를 쥐여주면 기본 워크플로를 쓴 경우를 상대로 64% 승리했다. 과제 풀이 예시만으로도 다음 라운드의 학습 데이터를 만들고 고르는 능력까지 끌어올려, 자기개선 순환이 지속 가능해진 것이다.
워크플로를 분석한 결과도 시사적이다. 최적화가 진행될수록 과제 고유의 정보는 역할과 지시보다 계약과 전달 쪽에 더 강하게 담겼다. '꼼꼼한 데이터 과학자' 같은 역할은 어느 과제에나 쓸 수 있는 범용 표현이지만, 백테스트의 누수 점검을 규정한 계약은 그 과제에만 들어맞는 고유한 정보다. 즉 최적화자는 구성 요소 각각은 서로 독립적으로 만들되, 에이전트 사이에 무엇을 언제 주고받는지(정보 흐름)를 집중적으로 다듬는 방향으로 진화했다.
학습 효율 측면에서도 다중 에이전트 기록의 이점이 드러났다. 오케스트레이터의 대화는 넓은 과제를 쪼개 배분하고 조율하는 법을, 서브에이전트의 대화는 개별 과제를 수행하는 법을 보여준다. 이 둘을 함께 학습한 M+ 모델은 2,880만 토큰 처리 후 기본 모델 대비 68.3% 승률에 도달한 반면, 단일 에이전트 기록으로 학습한 모델은 4,200만 토큰을 쓰고도 64.0%에 그쳤다. 31% 적은 토큰으로 더 높은 성과를 낸 것이다.
물론 한계는 분명하다. 과제가 12개 합성 과제에 불과하고, 워크플로 구성 요소의 정보량 분석도 8~9개 과제 표본에 기댄 추정이며 같은 워크플로 안의 에이전트들은 독립 표본이 아니다. 전이 실험 역시 실행 가중치를 고정한 채 이뤄져 최적화자 역할만 따로 떼어내 입증한 것은 아니다. 그럼에도 '피평가자가 평가자이고 최적화 대상이 곧 최적화자'인 폐쇄 순환이 외부 강력 모델의 판정에 수렴해 갔다는 점은, 검증이 어려운 영역에서 모델 스스로 학습 신호를 만들어내는 한 가지 실용적 경로를 보여준다. 실무자 입장에서는 단일 거대 에이전트보다 역할을 나눈 팀 구성과 에이전트 간 '계약'을 명시하는 설계가 품질과 학습 효율을 동시에 끌어올릴 수 있다는 점이 눈여겨볼 대목이다.