TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 44 READS

작은 모델·적은 데이터로 Terminal-Bench 점수 2배, DaisyRose-27B의 방법론

작은 모델·적은 데이터로 Terminal-Bench 점수 2배, DaisyRose-27B의 방법론
SOURCE IMAGE · HACKER NEWS

RadixArk가 첫 모델 DaisyRose-27B를 공개했다. 알리바바의 Qwen3.8-27B를 기반으로 강화학습(RL)을 적용한 에이전트 특화 모델로, 터미널 환경에서 장기 작업을 수행하는 능력을 집중적으로 끌어올렸다. 핵심 성과는 난이도가 높기로 알려진 Terminal-Bench 4.1에서 pass@1 기준 5.6%였던 점수를 12.0%로 두 배 이상 높였다는 점이다. 회사는 BF16, FP8, NVFP4 세 가지 체크포인트를 함께 배포해 누구나 내려받아 실험하거나 추가 학습에 활용할 수 있도록 했다.

주목할 부분은 투입된 자원의 규모다. 144대의 H200 GPU를 18일간 돌려 총 6만 3,000 GPU시간을 썼고, 학습에 사용한 과제는 단 1,200개에 불과하다. 수십만 건의 데이터를 쏟아붓는 대신, 머신러닝·소프트웨어 엔지니어링·과학 등 여러 분야에서 Eigent AI와 함께 수천 개의 후보 과제를 만든 뒤 약 1,200개만 선별해 최종 학습 세트로 삼았다. '많은 데이터'가 아니라 '잘 고른 데이터'로 성능을 끌어올렸다는 것이 이 모델이 내세우는 방법론의 출발점이다.

비동기 학습과 긴 세션 처리

학습은 RadixArk가 공개한 강화학습 프레임워크 Miles를 이용해 완전 비동기 방식으로 진행됐다. 128대의 H200이 에이전트 과제를 추론하며 수행하는 동안, 나머지 16대가 그 궤적(trajectory)을 학습하는 트레이너 역할을 맡는다. 에이전트와 학습기가 서로를 기다리지 않고 각자 돌아가며, 한 스텝이 끝날 때마다 갱신된 모델이 128대의 추론 GPU로 전달되는 구조다. 특히 최대 100만 토큰에 이르는 긴 세션을 하네스 요약(harness summarization)을 통해 여러 궤적으로 접어 넣어, 한 번에 소수의 아주 긴 세션으로부터 학습하도록 설계했다. 실제 에이전트 작업이 수십·수백 단계에 걸쳐 길게 이어진다는 점을 반영한 것이다.

효율 수치도 구체적으로 제시됐다. RadixArk의 자체 백엔드는 GPU 최대 연산의 37%를 실제 학습에 썼는데(MFU), Megatron 기반 오픈소스 트레이너는 같은 조건에서 16%에 그쳤다고 한다. 같은 학습을 57% 적은 GPU시간으로 끝낼 수 있다는 의미다. 이 격차는 전문가 혼합(MoE) 모델에서 더 벌어져, Qwen3.6-35B-A3B에서는 6.2배, 약 3,000억 파라미터 규모의 GLM-5.3-Flash에서는 10배 이상 차이가 났다고 밝혔다. 에이전트가 과제를 수행하는 시간까지 포함한 전체 처리량은 초당 약 1만 6,800토큰으로, 오픈소스 트레이너의 8,300토큰 대비 약 두 배였다.

샌드박스 인프라가 받친 안정성

강화학습의 또 다른 축은 채점 환경이다. 에이전트가 시도할 때마다 과제 환경을 새로 복제한 샌드박스 안에서 명령을 실행하고 파일을 고친 뒤 평가받는다. RadixArk는 오픈소스 AgentENV 기반의 자체 서비스에서 9월 중순부터 11월 중순까지 약 94만 4,000개의 샌드박스를 돌렸고, 동시 실행은 최대 1,566개에 달했다. 서비스는 1대에서 12대 머신으로 확장됐으며 학습 중에도 열 차례 업그레이드를 진행했다. 샌드박스 생성 성공률은 9주간 99%, 10월 말 이후로는 99.95%를 넘겼다. 샌드박스가 실제 사용량에 맞춰 메모리를 늘였다 줄이는 방식으로 한 대에 더 많은 샌드박스를 수용해, 주요 클라우드 샌드박스 제공업체 대비 비용을 약 80% 낮췄다고 설명한다.

한국 실무자 입장에서 이 발표가 주는 시사점은 벤치마크 숫자 자체보다 접근 방식에 있다. 거대한 범용 모델을 처음부터 만드는 대신, 이미 공개된 중형 오픈 모델에 선별된 과제와 효율적인 인프라를 결합해 특정 역량을 끌어올리는 포스트트레이닝 전략이 점점 현실적인 선택지가 되고 있다. 특히 자체 모델에 사내 도구나 터미널 작업 같은 특화 능력을 입히려는 팀이라면, 데이터 품질과 학습 백엔드의 효율이 GPU 투입량만큼이나 결과를 좌우한다는 점을 눈여겨볼 만하다.

다만 해석에는 주의가 필요하다. 12.0%라는 점수는 절대 기준으로 보면 여전히 Terminal-Bench 과제의 대다수를 실패한다는 뜻이며, 이 벤치마크가 그만큼 어렵다는 방증이기도 하다. 또한 효율성 비교는 RadixArk 자체 백엔드와 오픈소스 트레이너를 견준 수치로, 평가 하네스와 조건이 회사 내부 기준(예: 요약을 켠 mini-swe-agent 하네스, 과제당 여러 회 평균)에 맞춰져 있다는 점을 감안해야 한다. 공개된 체크포인트와 Miles 프레임워크를 직접 돌려 자신의 과제 분포에서 재현해 보는 것이, 발표된 수치를 그대로 받아들이는 것보다 더 신뢰할 수 있는 검증이 될 것이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://www.radixark.com/blog/daisyrose-27b
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...