코딩 에이전트가 쏟아내는 코드의 '유지보수성'을 측정하겠다는 벤치마크, 슬롭코드벤치(SlopCodeBench, SCB)의 2026년 10월 결과가 공개됐다. 덱스 호시(Dex Horthy)가 개비 올란스키(Gabe Orlanski)의 기여를 받아 정리한 이번 1부는 정량 수치 중심이며, 슬롭 패턴에 대한 질적 분석은 2부로 예고됐다. 핵심 메시지는 단순하다. 프런티어 모델들이 코드를 '일단 돌아가게' 만드는 능력은 꽤 좋아졌지만, 요구사항이 바뀌는 동안 기존 동작까지 깨뜨리지 않고 지켜내는 능력은 여전히 낮다는 것이다.
SCB가 다른 코딩 벤치마크와 구별되는 지점은 문제를 단계(checkpoint)로 쪼개 준다는 데 있다. 에이전트는 먼저 프로그램을 작성하고, 이어 새로운 요구사항을 받아 기존 코드를 수정한다. 뒤쪽 체크포인트는 새 동작뿐 아니라 이전 동작까지 함께 검증한다. 실제 소프트웨어 개발이 불명확하고 계속 변하는 요구사항 속에서 진행된다는 현실을 모사하려는 설계다. 이번 회차는 36개 문제, 설정당 196개 체크포인트로 돌렸는데, 이전 글들이 3~6개 문제만 다룬 것과 달리 전체 벤치마크를 사용했기 때문에 과거 부분집합 결과와 직접 비교는 불가능하다.
숫자가 말하는 것
이 글이 주목하는 지표는 '엄격 통과율(strict pass rate)', 즉 한 체크포인트에서 모든 테스트 케이스를 통과하면서 동시에 모든 회귀 테스트까지 통과한 비율이다. 지난 5월 gpt-5.5가 14.8%였던 이 수치는 이번에 최고 성적을 낸 gpt-6 아스트라(astra)가 16.3%를 기록했다. 프런티어 모델 전체로는 12.2~16.3% 범위다. 반면 덜 엄격한 '코어 통과율'은 65.8~74.0%에 달한다. 절대량으로 보면 196개 중 엄격 통과는 24~32개, 코어 통과는 129~145개 수준이다. 주 동작은 자주 맞히지만, 변경 과정에서 테스트된 모든 동작을 유지하는 데서는 대부분 무너진다는 격차가 그대로 드러난다.
'xhigh'는 득이 되지 않았다
이번 결과에서 가장 실무적으로 흥미로운 대목은 추론 노력 설정이다. 일부 신형 모델에서 중간(Medium) 설정이 최상(XHigh) 설정보다 더 나은 성적을 냈다. 특히 opus 5.5는 xhigh보다 medium에서 엄격 통과가 더 많았고(28개 대 25개), 슬롭 비율로 봐도 복잡한 구석이 있다. opus XHigh는 슬롭 비율이 77.75%로 가장 낮았지만 엄격 통과는 오히려 적었다. 비용 측면에서 XHigh는 세 쌍의 비교에서 Medium 대비 2.11~4.22배가 들었는데, 엄격 통과가 올라간 것은 아스트라뿐이었다. 다만 저자는 설정당 단 한 번씩만 돌렸음을 분명히 하며, 이것이 '추론을 더 하면 코딩이 나빠진다'는 증명은 아니라고 선을 긋는다. 더 높은 노력이 엄격 통과를 더 사주는 신뢰할 만한 방법은 아니었다는, 조심스러운 관찰일 뿐이다.
비용 폭도 상당하다. 기록된 추정치는 $178.51에서 $1,550.07까지 벌어졌고, 그 안에서 엄격 점수는 12.24~16.33%에 머물렀다. GPT-6.1 Medium은 $178.51로 가장 저렴하면서 아스트라 Medium과 같은 엄격 통과 수를 냈고, 페이블(Fable)은 약 8.68배의 비용을 쓰고도 엄격 통과가 세 개 적었다. 투입 비용과 결과의 상관이 약하다는 뜻이다.
남겨진 쓰레기까지 센다
품질 분석에서 눈에 띄는 선택은 모델이 작업 중 흘린 임시 파일과 스크래치 코드를 점수에서 빼지 않았다는 점이다. 저자는 처음엔 임시 파일을 제거하려 했지만, 사람이 코드를 일일이 읽지 않는 이상 '얼마나 많은 쓰레기를 남기는가'야말로 측정 대상이라는 올란스키의 지적을 받아들였다. 슬롭 비율은 28개 문제(스캐너가 완전히 측정하지 못한 8개 문제 제외)의 플래그된 줄과 소스 줄을 합산해 계산한다. opus Medium은 필터링 후에도 가장 많은 코드를 남겼다. 고정 규칙으로 _work 등 폴더를 제외하자 opus Medium의 dynamic_buffer 결과물에서만 45개 파일, 41,265줄이 빠져 총량이 216,881줄에서 175,616줄로 줄었지만, 슬롭 비율은 92.90%로 여전히 최상위였다. 복잡도 평균은 페이블이 3.57로 가장 낮고 GPT-6 SOL Medium이 11.70으로 가장 높았는데, 코드를 헬퍼 함수로 잘게 쪼개면 평균 복잡도는 낮아져도 변경이 쉬워지는 것은 아니라는 단서도 함께 달렸다.
한계도 명확하다. 각 설정을 한 번씩만 실행했기에 실행 간 변동이 얼마나 되는지 알 수 없고, 체크포인트 통과가 곧 '최종적으로 동작하는 프로그램'을 뜻하지도 않는다. 또 200개가 넘는 린터는 2026년 3월 공개 전후의 에이전트 작성 PR에서 손으로 추린 패턴에 맞춰져 있어, 신형 모델이 만들어내는 새로운 안티패턴은 아직 포착하지 못할 수 있다. 한국의 실무자에게 주는 함의는 분명하다. 모델 등급이나 추론 노력을 올리는 것만으로 유지보수 가능한 코드가 보장되지 않으며, 비용 대비 엄격 품질은 여전히 직접 측정해 봐야 한다는 것이다. 5월부터 9월까지 14.8%에서 16.3%로의 개선은 진전이지만, 광고되는 속도만큼 빠르지는 않다.