대형 언어모델이 코드를 짜고 문서를 요약하는 일에는 익숙해졌지만, 실시간으로 상황을 관찰하고 수십 분에 걸쳐 일관된 계획을 실행하는 능력은 별개의 문제다. '브루드워 벤치(Brood War Bench)'는 바로 그 지점을 겨냥한 실험이다. 제작자는 오직 에이전트를 통해서만 조작할 수 있는 스타크래프트: 브루드워 버전을 만들어 친구들과 즐기다가, 게임을 거의 해본 적 없는 친구들이 '에이전트에게 공격하라고 시켰더니 알아서 소규모 병력을 모아 전면 공격까지 해주더라'는 말을 듣고 벤치마크로 발전시켰다. 결과물은 코덱스(Codex), 클로드(Claude), 그록(Grok) 계열 모델이 서로 다른 노력(effort) 설정으로 총 171경기를 치른 라운드로빈 대전 기록이다.
모델마다 다른 실패의 양상
코덱스의 가장 두드러진 특징은 '교란'이었다. 프로토스 경기에서 프로브 한 기를 맵 건너편으로 보내 일꾼이나 건물을 괴롭히는 전술을 자주 썼는데, 이게 의외로 잘 통했다. 상대 에이전트가 프로브 한 기를 어떻게 처리할지 고민하느라 수십 초를 허비하며 정작 아무것도 하지 못했기 때문이다. 반면 지속적인 생산에는 약했다. 테크를 미루고, 방어된 상대 본진에 유닛을 한두 기씩 찔끔찔끔 흘려보내다가 결국 일꾼까지 최후의 저항에 내던졌다.
흥미로운 대목은 코덱스가 경제·병력 생산·병력 컨트롤을 각각 담당하는 별도의 서브에이전트를 만드는 경우가 잦았다는 점이다. 이들 사이에 소통이 거의 없다 보니 병력 담당 에이전트는 새로 생산된 유닛을 나오는 족족 공격에 투입했고, 다른 에이전트가 더 큰 규모의 병력을 준비 중이라는 사실은 알지 못했다. 유닛을 한 기씩 들이미는 이 행동은 임계 병력과 공격 타이밍을 기다리지 못하는 전형적인 초보의 실수다. 제작자가 직접 개입해 방향을 잡아주면 코덱스는 그런 타이밍 설계와 서브에이전트 간 협업을 훨씬 잘 해냈다.
집요함만큼은 진짜였다. G009 경기에서 코덱스 5.6(테란/medium)은 병력과 본진을 모두 잃은 뒤 마지막 커맨드 센터를 띄워 반대편 구석으로 옮겨 6분을 더 버텼다.
생각만 하고 움직이지 않는 모델
그록 4.6은 정반대의 병리를 보였다. 긴 추론을 쏟아내면서도 실제 명령은 거의 내리지 않았다. G043의 xhigh 실행은 11,138개의 추론 토큰을 기록했지만 43분 동안 명령 배치는 여섯 번에 그쳤고 전투 유닛은 끝내 한 기도 뽑지 못했다. G003에서는 마린 세 기를 만들었으나 적 본진에 도달하지 못했고, G002에서는 질럿 두 기를 만든 뒤 맵을 건너지도 못했다. 나쁜 전략이라기보다, 관찰하고 행동하는 루프 자체를 유지하지 못한 실패에 가깝다.
제작자가 유독 응원하게 됐다고 밝힌 쪽은 클로드 페이블(Fable)이다. 페이블은 첫 유닛에서 멈추지 않고 경제를 키우며 테크 트리를 올리려 했고, 다른 모델보다 게임을 실제로 '플레이'하려는 의지가 보였다. G007에서는 레어·스파이어·뮤탈리스크까지 올라가 승리했고, G027에서는 로보틱스 퍼실리티·시타델 오브 아둔·옵저버토리·템플러 아카이브까지 갖춘 뒤 이겼다. 다만 야심이 실행을 보장하지는 않았다. G036에서 페이블은 팩토리와 아카데미까지 도달했지만 오푸스 5에게 그대로 밀렸다.
실무자가 읽어야 할 함의
제작자의 총평은 냉정하다. 상대적으로 잘한 아스트라(Astra)와 페이블조차 복잡한 병력 구성, 단순한 공격 방어, 구체적인 전략 수행을 해내지 못했다. 포토 러시 하나만 할 줄 아는 초보라도 이 경기들을 전부 이겼을 것이라는 평가다. 화려한 추론 능력과 실제로 장시간 환경을 통제하는 능력 사이의 간극이 그만큼 크다는 뜻이다.
이 실험은 에이전트를 업무에 도입하려는 실무자에게 몇 가지 시사점을 준다. 첫째, 추론 토큰을 많이 쓴다고 좋은 행동으로 이어지지 않는다. 그록 사례처럼 '생각'과 '행동'은 별개이며, 관찰-행동 루프가 끊기면 아무리 긴 추론도 성과로 연결되지 않는다. 둘째, 서브에이전트로 역할을 쪼개는 구조는 조율 장치가 없으면 오히려 성능을 떨어뜨린다. 코덱스의 각개격파는 멀티에이전트 설계에서 공유 상태와 조정 계층이 왜 필요한지 보여준다. 셋째, 사람이 방향을 잡아주면 결과가 확연히 좋아졌다는 점은 완전 자율보다 인간 개입형(휴먼 인 더 루프) 구성이 현 단계에서 더 현실적임을 시사한다.
벤치마크 자체는 모델과 노력 설정을 조합한 라운드로빈 매트릭스를 프리스타일 VM에서 병렬로 돌려 게임 엔진 데이터와 양측 하네스 로그를 저장하는 방식으로 구성됐고, 승·패·시간제한 도달(T)이 표로 정리된다. 비용 집계에서 코덱스와 소네트는 토큰 기반 추정치라는 점은 해석 시 감안해야 할 한계다. 제작자는 이 벤치마크가 아직 전혀 소진되지 않았으며 에이전트가 배워야 할 것도, 벤치마크가 물어야 할 것도 훨씬 많이 남았다고 말한다. 장기 계획과 실시간 통제라는 난제를 실제로 측정하려는 시도로서, 지금의 초라한 성적표는 오히려 앞으로의 진전을 가늠하는 기준선에 가깝다.