소프트웨어 엔지니어링 능력을 겨루던 Terminal-Bench가 이번에는 과학 연구로 무대를 옮겼다. 스탠퍼드대 연구진이 주도하고 Terminal-Bench 팀이 여러 분야의 도메인 전문가들과 함께 만든 Terminal-Bench-Science는 실제 연구자들이 자기 업무에서 뽑아낸 워크플로로 AI 에이전트를 평가한다. 핵심 메시지는 분명하다. 과학 분야에서 AI의 역량 기준을 모델 개발사나 데이터 벤더가 아니라 현업 과학자가 정하도록 하자는 것이다. 첫 릴리스인 0.1 버전은 생명·물리·지구·수학·공학 5개 분야에서 70개 과제를 담았고, 평가 대상 중 가장 강력한 모델인 Claude Opus 5가 30%의 해결률을 기록했다.
이 벤치마크가 겨냥하는 지점은 '판단이 필요 없는 고된 작업'이다. 데이터 분석, 통계적 추론, 시뮬레이션, 최적화, 정리 증명, 이미지 재구성, 신호 처리, 역문제, 센서 보정, 모델 피팅, 분류, 과학 머신러닝처럼 기술적으로 까다롭고 시간이 많이 드는 워크플로를 에이전트가 대신 수행하면, 연구자는 연구 질문 정의와 가설 수립, 결과 해석과 검증, 그리고 소통처럼 인간의 판단이 중요한 영역에 집중할 수 있다는 구상이다. 그래서 평가도 교과서형 문제가 아니라 실제 연구 환경에서 분석·시뮬레이션·증명·코드·데이터 산출물 같은 구체적 결과물을 재현 가능한 과제별 테스트로 채점한다.
왜 70개뿐인가
과제 선별 과정은 이 벤치마크의 성격을 잘 보여준다. GitHub에서 제안(Propose)으로 시작해 구현(Build)과 검토(Review)를 거치는데, 도메인 리뷰어가 과학적 타당성과 현실성을, 기술 리뷰어가 과제 구성과 검증 방식을 확인하고, 마지막으로 '바 레이저(bar raiser)'가 품질을 최종 점검한다. 이 관문을 통과하려면 과제가 객관적으로 검증 가능하고, 프런티어 에이전트에게 실제로 어려우면서, 현재 시스템이 쉽게 풀어버리지 않을 만큼 정교해야 한다. 그 결과 제안 920건 중 464건이 승인되고 386건이 풀 리퀘스트로 열렸지만, 실제로 0.1에 편입된 과제는 70개에 불과했다. 과학적으로 흥미롭고, 어렵고, 엄밀히 평가할 만큼 잘 명세된 과제를 만드는 일이 그만큼 까다롭다는 뜻이다.
성능과 비용의 두 갈래
각 모델은 70개 과제를 세 번씩 독립 시행했다. Claude Opus 5(Claude Code)가 30.0%로 선두였고, GPT-5.6 Sol(Codex) 22.4%, Claude Fable 5(Claude Code) 21.4%가 뒤를 이었다. Claude Opus 4.8은 10.5%로 중간권, GPT-5.6 Terra·Kimi K3·Grok 4.6은 모두 10% 미만이었다. 오픈 모델 중에서는 GLM 5.3이 8.1%로 가장 앞섰고, GPT-5.6 Luna가 3.3%로 최하위였다. 흥미로운 점은 이 벤치마크가 Terminal-Bench 3.0만큼 모델 간 변별력을 유지하면서도, 두 벤치마크에 모두 오른 모든 모델의 해결률을 10%포인트 넘게 끌어내렸다는 것이다. 이는 우연이 아니라 최신 프런티어 모델을 겨냥해 과제 난도를 의도적으로 보정한 결과다.
실무적으로 더 눈여겨볼 대목은 성능과 비용·토큰의 트레이드오프다. 70개 과제 전체 평가 비용에서 Opus 5는 약 7.0천 달러가 들었고, GPT-5.6 Sol은 Claude Fable 5와 같은 성능을 3분의 1도 안 되는 비용(4.2천 vs 14.2천 달러)에 달성했다. 토큰 관점에서는 반대로 Claude Fable 5가 GPT-5.6 Sol과 같은 성능을 약 4분의 1 적은 토큰(6.4B vs 8.4B)으로 냈다. 두 파레토 경계에 모두 이름을 올린 모델은 Kimi K3와 Claude Opus 5뿐이었다. 즉 '어떤 모델이 가장 강한가'만큼이나 '어떤 비용 구조에서 강한가'가 갈린다는 얘기다. 분야별로도 편차가 커서, 대체로 Anthropic과 OpenAI 계열이 상위를 차지했지만 공학 분야에서는 Grok 4.6이 GPT-5.6 Sol과 공동 2위(14.8%)를 더 낮은 비용에 기록했고, 수학 분야에서는 Claude Fable 5(33.3%)와 GPT-5.6 Sol(31.4%)이 Opus 5를 앞섰다.
한계도 분명하다. 최고 모델조차 열 과제 중 일곱을 풀지 못한다는 사실은, 과학 연구 조수로서의 자율 에이전트가 아직 초기 단계임을 그대로 드러낸다. 다만 Terminal-Bench-Science는 일회성 논문형 벤치마크가 아니라 프런티어와 함께 진화하는 연속형 벤치마크를 표방한다. 과제는 버전 관리되어 Harbor 명령 하나로 재사용·재채점·재실행할 수 있고, 에이전트가 포화시킨 과제는 은퇴시키며 새 모델에 맞춰 리더보드를 갱신한다. 이미 0.2 작업이 진행 중이며 풀 리퀘스트 마감은 2026년 10월 5일이다. 프런티어 에이전트가 아직 못 하지만 마땅히 해내야 할 워크플로를 가진 연구자라면 직접 과제를 제안할 수 있다. 결국 이 프로젝트가 던지는 질문은 벤치마크 점수 자체보다, 'AI의 과학적 역량 기준을 누가 정할 것인가'에 가깝다.