AI 코딩 에이전트가 데모나 오픈소스 이슈가 아니라 실제 회사의 운영 코드베이스에서 엔지니어의 업무를 대신할 수 있을까. withspecific이 공개한 Real-SWE는 이 질문을 정면으로 겨냥한 벤치마크다. 이들은 실제 기업으로부터 라이선스를 받은 비공개 프로덕션 코드베이스에서 과제를 가져왔다. 즉 벤치마크용으로 새로 만든 문제가 아니라, 그 회사 엔지니어들이 실제로 다루는 문제를 기존 제품의 맥락과 복잡성 그대로 옮겨 온 셈이다. 구성은 여덟 개의 모델·하네스 조합, 열 개의 과제, 총 640회의 채점된 롤아웃으로 이뤄진다.
무엇이 기존 벤치마크와 다른가
전문가가 설계했거나 합성한 과제는 잘 다듬어질 수 있지만, 실제 회사의 엔지니어가 수행해야 하는 문자 그대로의 업무는 아니다. Real-SWE는 두 축에서 차이를 둔다. 하나는 다루는 코드 산출물의 성격이고, 다른 하나는 지시문의 구체성이다. 과제 설명은 '무엇을 바꿔야 하는지'를 서술하되 구현 세부는 에이전트가 코드베이스와 주변 도구에서 직접 찾아내도록 남겨 둔다. 검증기가 요구하는 동작은 지시문에 명시돼 있거나 합리적으로 발견 가능해야 한다. 그 결과 프롬프트는 다소 불충분하게 명세된 편인데, DeepSWE나 Terminal Bench와 비슷한 수준이면서도 필수 지시를 빠뜨리지는 않는다. 대표적인 지시문 길이는 1,742자에 이른다.
공개된 예시 과제 하나는 이 성격을 잘 보여 준다. 송장 과세 로직을 고쳐 사업자마다 올바른 세금을 매기고 면세 고객에게는 세금을 물리지 않도록 하라는 것이다. 어떤 사업자는 자체 세율을 유지하고, 어떤 사업자는 구매자 목적지 기준으로 세무 당국 제공자에게 가격을 산정받으며, 어떤 사업자는 아무것도 걷지 않는다. 면세 고객은 사업자 설정과 무관하게 과세되지 않아야 한다. 목적지 과세는 두 주소와 가격이 매겨진 항목, 사업자의 상품 범주를 당국에 넘겨 계정에 따라 샌드박스 또는 프로덕션에서 처리하고, 유럽 당사자 간 송장에는 양측의 VAT 등록번호가 표기돼야 한다. 이렇게 하나의 변경이 애플리케이션 여러 부분에 걸쳐 있으며, 에이전트는 기존 비즈니스 로직과 회사 고유의 코딩 패턴을 이해하면서 주변 시스템을 망가뜨리지 않아야 한다.
실제 하네스와 검증 방식
Real-SWE는 모델을 고립시켜 평가하지 않고, 엔지니어가 현업에서 쓰는 네이티브 하네스를 그대로 반영해 '모델과 하네스의 조합'을 평가한다. 각 에이전트는 격리된 샌드박스에서 실행되고, 모든 과제는 Harbor 포맷을 따르며 검증기는 채점 시점에 주입된다. 이 검증기는 코드베이스에 이미 존재하는 테스트 스위트에서 영감을 얻었거나 그 테스트를 그대로 사용한다. 코드베이스 선정도 까다로웠는데, 상당한 사용량과 탄탄한 엔지니어링 팀, 까다로운 운영 부하를 가진 실제 회사를 우선했다. 벤치마크를 위해 만든 코드가 아니라 실제 사용자나 사업적 필요를 충족하기 위해 작성된 코드를 앞세운 것이다.
실패는 어디에서 나오나
난도를 보여 주는 지표들이 흥미롭다. Real-SWE 과제는 평균 11개 파일에 걸쳐 있어 FrontierCode와 DeepSWE의 6개보다 많다. 여러 시스템을 함께 살펴 요구사항을 파악하고, 기존 비즈니스 로직과 코딩 패턴으로 뒤엉킨 코드베이스를 이해하는 일이 어렵다는 것이다. 시간을 더 쓴다고 해결되지도 않는다. 10분 미만 롤아웃의 71.4%가 실패했는데, 10분 이상 걸린 롤아웃도 73.4%가 실패해 큰 차이가 없었다.
실패 유형은 DeepSWE의 분류 체계를 따라 제출 행태별로 묶였다. 워크스페이스에서 확인하지 않고 시스템에 대한 추측 위에 작업을 쌓는 경우, 지시문이 요구한 동작을 빠뜨리는 경우, 방향은 맞지만 주변 시스템에 잘못 연결하는 경우, 변경 과정에서 기존 동작을 망가뜨리는 경우, 그리고 일회성 스크립트처럼 실행 중인 애플리케이션이 결코 호출하지 않는 곳에 변경을 넣는 경우로 나뉜다. 이 목록은 실무자에게 익숙한 실수의 지도이기도 하다.
실무자에게 주는 시사점
한국의 개발 조직 관점에서 Real-SWE의 메시지는 분명하다. 잘 정제된 이슈를 푸는 능력과, 오래된 제품의 얽힌 맥락 속에서 안전하게 변경을 착지시키는 능력은 별개라는 것이다. 특히 '실행 경로에 실제로 연결되었는가', '기존 동작을 보존하는가' 같은 축은 도입 검토 시 눈여겨볼 대목이다. 다만 이 벤치마크는 열 개 과제, 여덟 개 조합이라는 제한된 표본에 기반하고, 비공개 코드베이스라는 특성상 외부 검증이 쉽지 않다는 점은 감안해야 한다. 구체적인 모델별 수치나 순위는 원문이 상세히 공개하지 않았으므로, 결과를 인용할 때는 표본의 규모와 조건을 함께 짚는 편이 안전하다.