오픈소스 진영에서 '자기 개선(self-improvement)' 루프를 전면에 내세운 모델이 등장했다. Ornith-1.5는 이전 버전인 Ornith-1.0의 자기 스캐폴딩(self-scaffolding) 개념을 확장해, 모델이 스스로 새로운 과제를 제안하고, 그 과제에 맞는 스캐폴드(도구·분해 전략·오케스트레이션 등 문제 접근 방식)를 만들고, 강화학습에 쓸 풀이 시도(rollout)를 생성하는 과정을 하나의 순환 고리로 묶었다. 사람이 미리 준비한 고정된 과제 집합과 수작업 평가 환경에 의존하지 않고, 학습에 필요한 경험 자체를 모델이 계속 만들어낸다는 점이 핵심 주장이다.
모델 라인업은 397B MoE, 35B MoE, 9B 덴스(dense)의 세 가지 규모로 구성된다. 공개된 벤치마크 수치를 보면, 플래그십인 397B는 Terminal-Bench 2.1에서 86.1점, DeepSWE에서 56.0점을 기록해 Claude Opus 4.8(각각 85.0, 59.0)과 대등한 수준이라고 밝혔다. 같은 급의 오픈소스 모델인 GLM-5.2(82.7, 46.2)와 DeepSeek-V4-Flash-0731(82.7, 54.4)은 앞선다는 설명이다. 35B는 토큰당 3B 파라미터만 활성화하면서도 Qwen 3.6-35B를 코딩·에이전트 벤치마크 전반에서 앞섰고, 9B는 모바일용 양자화 버전으로 iPhone과 Android에 배포 가능하면서 Terminal-Bench 2.1 47.0, SWE-Bench Verified 70.6을 기록해 자신보다 큰 Gemma 4-31B, Qwen 3.6-35B와 견줄 만하다고 한다.
세 단계로 도는 학습 사이클
기술적 골자는 학습을 세 단계로 나눈 순환 구조다. 먼저 환경이나 코드베이스, 과제 유형에 대한 상위 지시, 그리고 모델의 과거 풀이 이력을 입력으로 삼아, 모델이 이미 풀 수 있는 수준을 넘어서는 점점 더 어려운 과제를 제안한다. 다음으로 각 과제에 맞는 스캐폴드를 생성하거나 다듬고, 이 과제와 스캐폴드를 조건으로 정책(policy)이 실제 풀이를 만들어낸다. 여기서 얻은 보상은 세 단계 모두로 전파되기 때문에, 모델은 더 나은 풀이뿐 아니라 더 쓸모 있는 훈련 과제와 더 효과적인 스캐폴드를 만드는 법까지 함께 학습한다. 정책이 강해질수록 더 어려운 과제를 만들 수 있고, 진화한 스캐폴드가 모델의 잠재력을 더 잘 끌어내며, 질 높은 풀이가 더 나은 학습 신호를 준다는 것이 이 폐루프의 논리다.
보상 설계가 말해주는 것
주목할 부분은 '어떤 과제가 좋은 과제인가'를 정의하는 보상 설계다. 과제 보상은 유효성(validity), 프런티어 난이도(difficulty), 참신성(novelty) 세 신호의 곱으로 정의된다. 곱셈 형태를 쓴 이유는 세 조건을 동시에 만족해야만 보상을 받도록 강제하기 위해서다. 유효성은 과제와 스캐폴드가 실제로 실행되고 검증 가능한 학습 환경을 이루는지를 따지며, 하드 게이트로도 작동해 겉보기에만 어려운 불량 과제가 보상을 챙기지 못하게 막는다. 난이도는 목표 성공률 p*를 0.2로 잡아, 어렵지만 강화학습에 쓸 만한 성공 경로가 충분히 나오는 지점을 노린다. 모델이 특정 과제를 안정적으로 풀기 시작하면 그 보상이 자연히 줄어들어, 생성기가 더 어려운 문제로 향하도록 밀어붙이는 구조다. 참신성은 유사한 과제의 반복 생성을 억제하되, 유효성과 난이도에 종속되는 보조 신호로 설계됐다.
평가 환경, 즉 하니스(harness)에도 별도의 보상이 붙는다. 과제 명세와의 정합성(C), 풀이 품질을 충실히 반영하는지(F), 그리고 평가기 오작동이나 지름길, 보상 해킹(reward hacking)에 대한 저항성(H)을 함께 본다. 각 풀이는 이 하니스로 채점되며, 검증 가능한 과제는 이진 통과/실패로, 더 복잡한 환경에서는 정확성·완수도·효율·제약 충족을 결합해 점수를 매긴다. 과제 생성, 하니스 생성, 풀이 생성 세 축은 모두 GRPO로 최적화돼 같은 루프 안에서 함께 개선된다.
실무적으로 무엇을 봐야 하나
국내 실무자 관점에서 이 발표가 갖는 함의는 두 갈래다. 하나는 배포 스펙트럼의 폭이다. 서버급 397B부터 스마트폰에 올라가는 9B 모바일 버전까지 하나의 계열로 제공된다면, 에이전트 코딩이나 터미널 자동화 같은 워크로드를 온디바이스와 서버로 나눠 설계할 여지가 생긴다. 다른 하나는 데이터 파이프라인 관점의 시사점이다. 사람이 큐레이션한 과제와 수작업 평가 환경 대신 모델이 커리큘럼을 스스로 확장한다는 접근은, 학습 데이터 확보 병목을 우회하려는 최근 흐름과 맞닿아 있다.
다만 발표 내용만으로 판단하기에는 유보할 대목도 분명하다. 제시된 수치는 Terminal-Bench, DeepSWE, SWE-Bench Verified 등 특정 벤치마크에 한정되며, 자기 개선 루프가 벤치마크 바깥의 실제 업무 분포에서도 지속적인 성능 향상을 낸다는 독립 검증은 아직 확인되지 않았다. 특히 프런티어 난이도를 '모델 자신의 풀이'로 추정하는 구조는 커리큘럼이 모델의 강점 쪽으로 편향될 위험, 그리고 하니스 스스로가 보상 해킹의 대상이 될 위험을 내포한다. 발표에서 저항성 항목(H)을 명시적으로 둔 것도 이 위험을 의식한 설계로 읽힌다. 오픈소스로 공개된 만큼, 실제 도입을 검토한다면 공개 가중치를 자체 워크로드에 붙여 재현 가능성과 안정성을 직접 확인하는 절차가 선행돼야 한다.