커서(Cursor)가 자사 코딩 AI의 성능을 측정하는 자체 평가 체계 CursorBench 3.1을 공개했습니다. 핵심은 '정답 맞히기'식 벤치마크의 한계를 넘어, 실제 개발 현장에서 벌어지는 작업을 평가한다는 점입니다. 단순 함수 구현이 아니라 여러 파일에 걸친 수정, 기존 코드베이스 맥락 이해, 리팩터링, 버그 수정 같은 실무형 태스크로 모델을 검증합니다. 기존 공개 벤치마크(예: SWE-bench)가 학습 데이터에 오염되기 쉽고 실사용과 괴리가 크다는 문제의식이 배경입니다. 한국 개발자에게 시사점은 분명합니다. 'AI가 벤치마크에서 몇 점'이라는 수치보다, 우리 팀의 실제 코드베이스에서 얼마나 정확히 맥락을 파악하고 안전하게 고치는가가 진짜 지표라는 것입니다. 도구를 도입할 때는 공개 점수만 보지 말고, 자사 레포로 직접 테스트해 실측하는 습관이 중요합니다. AI 코딩 도구 경쟁이 '자체 평가 기준'으로 옮겨가는 흐름도 눈여겨볼 만합니다.