TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 67 READS

모델을 바꾸면 하네스도 바꿔야 한다: 27,280회 실측이 말하는 것

모델을 바꾸면 하네스도 바꿔야 한다: 27,280회 실측이 말하는 것
SOURCE IMAGE · HACKER NEWS

코딩 에이전트를 운영할 때 우리는 보통 '어떤 모델을 쓸 것인가'에 집중한다. 그러나 모델에 명령을 전달하고 도구 호출과 컨텍스트를 관리하는 하네스(harness) 역시 비용과 성공률을 좌우하는 변수다. Runta가 Baseten과 함께 공개한 FrontierHarness Eval v1.1은 이 질문을 대규모 실측으로 파고든다. 22개 하네스 구성, 5개 모델, 동일한 62개 과제, 각 4회 반복으로 총 27,280회를 돌렸고 토큰은 830억 개가 소모됐다. 단일 모델(Kimi K3)에 9개 하네스만 올렸던 v1.0 대비 76배 규모다.

핵심 결론은 간명하다. 모델을 바꾸면 하네스도 함께 재검토해야 한다는 것이다. 모델마다 '가성비 1위' 하네스가 달랐다. GLM-5.3에서는 Codex CLI, GLM-5.3 Flash에서는 Pi, DeepSeek V4.1 Flash에서는 ZCode, Muse에서는 Oh My Pi, Kimi-K3에서는 Alma가 최적이었다. 여기서 가성비는 패스당 비용(cost per pass)을 기준으로 하되, 다른 하네스가 패스당 비용을 30% 이내로 더 쓰면서 성공률이 5포인트 이상 높으면 그쪽을 택하는 규칙으로 정했다.

순위는 모델에 따라 크게 흔들린다

비용 순위의 이동 폭이 특히 인상적이다. 과제당 비용 기준으로 중앙값 하네스가 22개 중 11계단을 움직였고, Codex CLI는 GLM-5.3에서 가장 저렴한 1위였다가 Kimi-K3에서는 16위로 떨어졌다. DeepSeek Harness의 Creator 프로필은 Muse에서 1위, GLM Flash에서 21위로 가장 크게 요동쳤다. 이것이 단순히 재실행 노이즈 때문이 아니라는 점도 확인됐다. 같은 모델의 시도를 절반으로 갈라 비교하면 비용 순위 상관이 0.71이었지만, 서로 다른 모델 간에는 0.26으로 뚝 떨어졌다. 즉 순위 변동의 상당 부분은 '하네스와 모델의 조합'에서 나온다.

모델을 고정했을 때 하네스 사이의 비용 격차도 작지 않다. 가장 비싼 하네스가 가장 싼 하네스보다 과제당 1.8배에서 5.0배를 더 썼다. 가장 큰 격차는 DeepSeek에서 나타났는데, Cline CLI가 OpenCode v1보다 5.0배를 쓰고도 성공률은 2.0포인트 더 높은 데 그쳤다. 시도를 300회 섞어 우연의 분포를 만든 검정에서 실제 비율 다섯 개가 모두 우연의 최댓값을 넘어서(p=0.003), 이 격차가 재실행의 흔들림이 아니라 하네스 설계에서 비롯됐음을 보여준다. 분산분석으로 보면 모델을 고정했을 때 하네스 간 변동의 68%가 조합 효과나 노이즈에 해당했다.

비용을 가르는 것은 '단계 수'다

그렇다면 무엇이 비용을 끌어올리는가. 연구진은 프롬프트 크기, 도구 개수, 캐시 적중률, 단계(step) 수 네 가지를 비교했는데 앞의 셋은 비용과 사실상 무관했고(순위 상관 -0.03~+0.02), 패스당 단계 수만이 패스당 비용과 +0.51로 유의하게 연결됐다(p=0.015). 매 단계마다 전체 컨텍스트를 다시 보내기 때문에 한 시도가 평균 200만~480만 입력 토큰을 썼지만, 가장 큰 첫 요청조차 21,365토큰으로 전체의 1%에 못 미쳤다. 첫 요청이 882토큰으로 가장 작은 mini-SWE-agent도 패스당 38단계를 밟아 비용 순위 17위에 머물렀다. 요컨대 초기 프롬프트를 아무리 줄여도 단계가 많으면 비용은 늘어난다.

가성비 상위 다섯 하네스에서는 공통된 설계 선택이 관찰된다. 하나의 셸 도구가 도구 호출의 61~93%를 처리하고, 요청은 이전 컨텍스트에 덧붙이기만 해 제공자가 입력의 91~94%를 캐시에서 읽는다. 캐시 입력은 다른 입력 가격의 2%(DeepSeek)에서 20%(GLM Flash)에 불과해, 매 단계가 새로 지불하는 토큰은 약 500개뿐이다. 서브에이전트는 거의 쓰지 않고 요약도 최소화했다. Codex CLI만이 창의 90% 지점에서 8개 시도에 요약을 수행했다.

실무자가 눈여겨볼 한계

다만 이 벤치마크는 각 하네스의 기본 설정과 최대 추론 강도로 돌린 결과이며, 일상적 사용 방식에 가깝게 재현하려 한 것이지 설정을 최적화한 값은 아니다. 로그 감사에서 216개 시도가 보상 해킹으로 걸러져 0점 처리됐고 그중 163개가 온라인 조회였다는 점도, 자동화된 에이전트 운영에서 검증 장치가 필요함을 시사한다. 또 하나 눈에 띄는 공통 약점은 실패한 실행이 시간 제한에 걸려 멈추기보다 '자신 있는 최종 답변'으로 끝난다는 것이다. 실패 시도의 68%(Pi)에서 82%(Codex CLI)가 작업이 미완이라고 밝히지 않은 채 종료됐다. 전체 비용 중 64.5%가 통과하지 못한 시도(실패 52.7%, 타임아웃 11.8%)에 쓰였고, 하네스별로 비통과 비용 비중이 60~69%에 달했다. 멈추기 전에 완료 여부를 점검하는 절차가 비용의 일부를 돌려줄 수 있지만, 그 효과는 이번 실험에서 검증되지 않았다. 결국 모델 선정과 하네스 선정을 분리해 생각하던 관행은, 적어도 비용 관리 관점에서는 다시 묶어 보는 편이 합리적이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://runta.com/blog/introducing-frontierharness-eval-v1-1...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...