AI 코드 리뷰가 개발 워크플로에 자리 잡으면서, 실무진의 관심은 "AI가 버그를 찾는가"에서 "어느 정도 지능을 어느 비용에 쓸 것인가"로 옮겨가고 있다. Entelligence가 공개한 이번 비교는 그 질문을 정면으로 다룬다. 저가 모델 GPT-5.6 Luna(입력 100만 토큰당 0.20달러, 출력 1.20달러)와 고가 모델 GPT-6 Astra(입력 10달러, 출력 50달러)를 동일한 풀리퀘스트에 붙여, 모든 PR을 가장 싼 모델로만 돌리면 무엇을 잃는지 측정했다.
실험 설계
대상은 AI-Code-Review-Evals 조직이 공개한 50개 벤치마크 PR로, Cal.com·Sentry·Discourse·Keycloak·Grafana에서 각각 10개씩 뽑았다. 각 PR은 깨끗한 기준 브랜치에 의도적으로 결함을 심어 둔 것이다. 두 모델은 같은 diff에 같은 프롬프트를 받았고, 프롬프트는 정확성·보안·동시성·리소스·에러 처리 버그만 요구하고 스타일·네이밍·문서·테스트 제안은 배제했다. 검증 방식도 눈여겨볼 만하다. PR마다 Astra·Sol·Luna와 공개된 Entelligence 리뷰어 코멘트를 익명으로 한데 모은 뒤, GPT-6 Astra와 GPT-5.6 Sol이 각자 diff를 보며 실제 버그인지 판정하고, 두 판정자가 모두 진짜라고 본 것만 검증된 버그로 인정했다. 두 판정자는 91%에서 의견이 일치했고 최종적으로 143개의 서로 다른 버그가 통과했다.
무엇을 얻고 무엇을 잃는가
결과는 가격 대비로 보면 인상적이다. Luna는 50개 PR 전체를 도는 데 0.20달러가 들었고 검증된 버그 69개를 찾았다. Astra는 5.66달러에 92개를 찾았다. Luna는 Astra 대비 3.6%의 비용으로 75%의 버그를 잡은 셈이고, 검증된 버그 한 건당 비용으로 환산하면 Astra가 20배 비쌌다. 흥미롭게도 Luna는 리뷰당 출력 토큰을 Astra의 3.1배나 썼지만 출력 단가가 42배 낮은 덕에 훨씬 저렴했고, 속도도 리뷰당 23초로 Astra의 36초보다 빨랐다.
대신 정밀도에서 대가를 치른다. Luna가 내놓은 지적 93건 중 24건이 검증을 통과하지 못했다. 넷 중 하나꼴로 틀린 셈이다. Astra는 96건 중 4건만 오류였다. 이미 AI 리뷰 코멘트를 대충 훑어 넘기는 개발자라면, 4분의 1이 잡음인 리뷰는 더 빨리 무시하게 된다. 신뢰도 저하는 단순히 통계가 아니라 팀이 도구를 대하는 태도를 바꾼다.
약점은 인증·권한 코드에 집중된다
전체 점수는 약점을 가린다는 지적에 따라 저장소별·버그 유형별로 나눠 보면 차이의 원천이 분명해진다. Sentry·Discourse·Grafana에서는 Luna가 Astra와 검증 버그 두 개 차이 안으로 붙었다. 그러나 Cal.com은 21 대 30으로 벌어졌고, Keycloak은 6 대 14로 가장 컸다. 게다가 Luna의 Keycloak 지적은 절반만 진짜였던 반면 Astra는 93%가 유효했다. Keycloak이 인증·권한 로직을 다루는 IAM 서버라는 점이 핵심이다. 유형별로도 데이터·로직 버그는 39 대 47, 동시성은 10 대 13으로 격차가 크지 않지만, 보안 버그는 24개 중 Luna가 9개, Astra가 19개로 벌어졌다.
Astra만 잡은 Keycloak 버그의 예를 보면 왜 그런지 이해가 된다. 연합 복구 코드가 사용됨으로 표시되지 않아 재사용이 가능했던 결함, 그리고 전역 조회 권한이 개별 클라이언트에 설정한 거부를 덮어쓴 결함이다. 둘 다 한 줄만 봐서는 이상해 보이지 않고, 변경 이후 권한 모델이 무엇을 허용하는지 따져야만 드러난다. 반대로 Luna만 찾은 버그도 있다. 143개 중 44개는 두 모델이 함께, 48개는 Astra만, 25개는 Luna만 찾았다. Luna 단독 25개 중 16개가 데이터·로직 버그였고, Discourse의 구독 해제 반복 시 알림 수준이 계속 낮아지던 버그, Sentry에서 비정상 워커 스레드를 정지시키지 않고 교체하던 동시성 버그가 그런 예다.
한계와 실무 적용
저자들은 결과를 과신하지 말라며 한계를 분명히 짚는다. PR들은 모두 두 모델의 학습 컷오프 이전 것이라(커밋 날짜 2013년~2025년 7월 25일), 독자들이 요청한 학습 데이터 오염 검증용 날짜 분할이 아예 불가능하다. 같은 설정으로 재실행했을 때도 결과는 흔들렸다. 열 개 PR을 세 번씩 돌린 결과 Astra는 첫 실행 15개 중 10개가 두 재실행 모두에서, Luna는 15개 중 7개만 재현됐다. 단일 실행 수치는 그만큼 유동적이며 Luna의 변동이 더 컸다. 또한 두 모델이 모두 놓치고 Sol이나 Entelligence 리뷰어만 잡은 검증 버그가 26개 있었는데, 이는 놓친 버그의 하한일 뿐이다. Astra가 참가자이면서 동시에 판정자 중 하나라는 점, 모델이 diff 외에 저장소 히스토리나 호출 그래프, 운영 데이터를 전혀 보지 못했다는 점도 감안해야 한다.
실무적 함의는 명확하다. 일상적인 정확성 버그라면 저가 모델도 이 벤치마크에서 쓸 만했지만, 인증·권한처럼 놓쳤을 때 대가가 큰 코드에는 단독으로 맡기기 어렵다. 두 모델을 모든 PR에 함께 돌리면 143개 중 117개(82%)를 5.86달러에 잡을 수 있었다. 결국 관건은 어떤 변경이 보안 민감한 경로에 있는지를 판별해 리뷰 강도를 달리하는 것인데, diff만으로는 그 판단이 불가능하다. 자기 저장소에서 나중에 수정이 필요했던 병합 PR 30~50개를 모아, 같은 프롬프트로 저가·고가 모델을 돌리고, 비교 대상이 아닌 별도 판정자로 검증한 뒤 저장소·버그 유형별로 쪼개 보라는 것이 저자들이 권하는 검증 절차다. 평균값 하나로는 약점이 어디 숨어 있는지 보이지 않기 때문이다.