오퍼스 5는 왜 더 똑똑한데도 쓰기 불편할까: 벤치마크가 만든 역설

한 개발자의 개인 블로그에 올라온 짧은 글이 코딩 에이전트를 다루는 실무자들 사이에서 공감을 얻고 있다. 글쓴이는 자신과 동료들의 경험을 근거로, 앤트로픽의 '오퍼스 5'가 이전 버전인 오퍼스 4.7, 4.8, 그리고 '페이블(Fable)'보다 함께 일하기에 오히려 나빠진 느낌이라고 주장한다. 흥미로운 점은 그가 이를 성능 퇴보로 규정하지 않는다는 것이다. 벤치마크 수치상으로 오퍼스 5는 4.7과 4.8을 앞서고 페이블과도 견줄 만한, 더 유능한 모델이라는 전제를 그는 분명히 한다. 그럼에도 실제 작업에서 손에 익는 감각은 이전 모델들이 더 낫다는 것이 이 글의 핵심 문제 제기다.

유능함과 다루기 쉬움은 다른 축이다

글쓴이가 짚는 차이는 결과물의 품질이 아니라 상호작용의 방식이다. 이전 모델들은 세심하게 지켜보며 하나하나 챙기지 않아도 되는데, 오퍼스 5는 그런 '돌봄(babysitting)'을 요구한다는 것이다. 여기서 말하는 돌봄이란 모델이 애매한 상황에서 제멋대로 판단해 밀고 나가지 않도록 사람이 계속 개입하고 확인해야 하는 부담을 뜻한다. 벤치마크 점수라는 단일 지표로는 잡히지 않는, 협업의 질적 측면이 오히려 후퇴했다는 지적이다.

글쓴이는 그 원인을 프런티어 AI 연구소 전반에 작용하는 두 가지 힘이 겹친 결과로 추정한다. 하나는 스스로를 재귀적으로 개선해 AGI 혹은 ASI 수준까지 끌어올리는 자기개선형 AI를 만들려는 지향이고, 다른 하나는 벤치마크에서 높은 점수를 받아야 한다는 압박이다. 이 두 힘이 모델을 특정 방향으로 몰아간다는 것이 그의 가설이다. 다만 이는 어디까지나 한 개발자의 추론이며, 앤트로픽 내부의 개발 의사결정을 확인해 주는 근거가 제시된 것은 아니라는 점은 감안해서 읽어야 한다.

좋은 벤치마크가 만드는 나쁜 습관

글의 논리에서 가장 곱씹을 만한 대목은 '좋은 벤치마크 과제'의 정의다. 글쓴이에 따르면 잘 만든 벤치마크 과제는 자기완결적이어야 한다. 즉 힌트나 외부 정보, 출제자의 의도를 읽어내는 능력 없이도 풀 수 있어야 하고, 명백히 옳은 답이 여럿이라면 그것들을 모두 동등하게 채점해야 한다. 정답이 반드시 하나일 필요는 없지만, 애매함 없이 정답인 것들은 공평하게 인정돼야 한다는 것이다. 그는 많은 벤치마크 과제가 실제로는 정의가 부실하거나 불공정하거나 편법으로 뚫리는 경우가 많다는 점도 공공연한 비밀이라며 덧붙인다.

문제는 이렇게 자기완결적인 과제로 모델을 선별하거나 학습시킬 때 생긴다. 검증 가능한 보상 기반 학습(RLVR)을 포함해 이런 방식은 본질적으로 '애매한 상황에서 과감하고 대체로 맞는 가정을 밀어붙이는' 모델을 선호하게 된다. 반대로 멈춰 서서 방향을 되묻는 경향은 감점 요인이 된다. 벤치마크에는 이미 정답이 존재하므로, 되묻는 행동은 점수에 도움이 되지 않기 때문이다. 결국 시험을 잘 보도록 다듬는 과정이 되묻지 않는 성향을 함께 강화한다는 것이 글쓴이의 진단이다.

현실은 벤치마크가 아니다

그런데 코딩 에이전트를 쓰는 실무자 대다수가 원하는 것은 정확히 그 반대라는 데 역설이 있다. 프로젝트의 전체 맥락과 의도, 사업적 함의, 예산 제약 같은 것을 남김없이 문서로 정리해 에이전트에게 전달하기란 사실상 불가능하다. 어디엔가는 반드시 애매함과 선택의 여지가 남고, 그럴 때 에이전트가 멈춰 서서 물어봐 준다는 신뢰가 있어야 안심하고 일을 맡길 수 있다. 현실에는 모든 질문에 보장된 정답이 있는 것도, 정답들의 집합이 정해져 있는 것도 아니며, 실제 결과에 대한 책임까지 걸려 있기 때문이다.

이 글은 데이터나 실험이 아니라 몇몇 개발자의 체감에 기댄 의견이라는 한계가 뚜렷하다. 등장하는 모델 이름과 성능 비교도 검증된 수치라기보다 글쓴이의 서술에 근거한 것이다. 그럼에도 실무적으로 새겨둘 만한 지점은 남는다. 모델을 고르고 평가할 때 벤치마크 점수만 보면, 애매함 앞에서 함부로 단정하지 않고 사람에게 확인을 구하는 능력처럼 협업에 필수적인 자질을 놓칠 수 있다는 것이다. 에이전트를 도입하는 팀이라면, 능력 지표와 별개로 '모를 때 멈추고 묻는가'를 자체 워크플로 안에서 직접 확인해 보는 편이 현명하다.