코드 리뷰에서 가장 까다로운 작업은 변경된 줄 바깥에서 벌어진다. 하나의 수정이 그 자체로는 완벽해 보여도, 시스템의 다른 곳에 있는 코드를 조용히 망가뜨릴 수 있기 때문이다. AI 코드 리뷰 서비스인 CodeRabbit이 OpenAI의 GPT-6 Astra를 초기 평가하며 주목한 지점도 바로 여기다. 이들의 측정 지표는 '실행 가능한 버그 커버리지', 즉 개발자가 실제로 조치할 수 있는 형태의 지적을 통해 라벨링된 버그를 얼마나 잡아내는가였다.
결과를 보면 Astra는 GPT-5.6 Sol보다 약 4% 더 많은 버그를 실행 가능한 형태로 잡아냈고, Opus 5와 비교하면 22% 더 많았다. 전체 수치에서 Sol 대비 4%라는 개선폭은 크지 않아 보인다. CodeRabbit은 이 평가에 단순한 리뷰도 포함돼 있어, 더 강한 모델이 차별성을 드러낼 여지가 적었던 탓이라고 설명한다.
파일 간 리뷰에서 벌어지는 격차
의미 있는 차이는 어려운 '크로스파일(cross-file)' 리뷰에서 드러났다. 여러 파일에 걸쳐 맥락이 흩어져 있는 리뷰에서 Astra의 상대적 우위는 Sol 대비 20%, Opus 5 대비 33%까지 벌어졌다. 이는 하나의 변경이 지닌 의도를, 코드베이스 곳곳에 분산된 결과들과 연결하는 능력에서 값어치가 나온다는 뜻이다. CodeRabbit은 Astra의 가장 흥미로운 진전이 '넓은 컨텍스트'가 아니라 '올바른 정보를 연결하는' 데 있다고 해석한다. 큰 컨텍스트 윈도는 정보를 담을 공간을 만들어줄 뿐이고, 쓸모 있는 추론은 어느 조각이 중요한지 식별하고 그것들을 근거로 결론까지 이어가는 데서 나온다는 것이다.
다만 이들은 결과의 한계를 분명히 못 박는다. 이 수치는 리뷰 성능의 한 단면일 뿐, 리뷰 품질의 전체 순위를 매기거나 팀의 결함률을 예측하거나 모든 풀 리퀘스트에서 같은 이득을 보장하지 않는다. 원인을 특정하지도, '맥락을 더 주면 성능이 좋아진다'는 명제를 증명하지도 않는, 방향성 있는 초기 신호라는 것이다.
성능만큼 무거운 가격표
실무자가 진짜 고민할 지점은 비용이다. Astra의 표준 API 요금은 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러다. 입력 10만 토큰(캐시 미적용)과 추론 토큰을 포함한 출력 1만 토큰이라는 고정 조건으로 비교하면, Astra는 Sol의 2.5배, Terra의 약 4.7배, Luna의 약 47배에 달한다. 상당한 프리미엄이다. 참고로 Fable 5.1은 기본 입출력 요금이 Astra와 같지만 캐싱 가격은 다르다.
그러나 토큰 단가가 곧 작업당 비용은 아니다. 더 적은 토큰이나 더 적은 시도로 답에 도달하는 모델은 그 격차를 좁힐 수 있다. 실제로 OpenAI는 자사 일부 평가에서 토큰 단가가 더 높음에도 Astra의 추정 작업 비용이 더 낮게 나왔다고 보고했다. 그래서 CodeRabbit은 토큰 가격이나 능력 점수 어느 하나로 판단을 끝내지 말고, '성공적인 결과 하나당 총비용'을 자신의 실제 작업에서 측정하라고 권한다. 흩어진 근거를 연결해야 하는 어려운 작업일수록 추가 추론이 값을 하지만, 저렴한 모델이 이미 안정적으로 처리하는 일상적 작업까지 전부 Astra로 돌리고 추론 강도를 최대로 올릴 이유는 없다. 가장 확실한 검증법은 같은 과제에 기존 모델과 나란히 돌려 답의 품질, 검증 시간, 총비용을 비교하는 것이다.
게임 한 편으로 확인한 시스템 추론
CodeRabbit은 같은 능력을 다른 무대에서도 시험했다. Godot과 GDScript로 만든 액션 RPG 'NIGHTSHIFT'다. 7개 캐릭터 클래스, Path of Exile에서 영감을 받은 988개 노드의 패시브 스킬 트리, 액티브 스킬, 룬과 소켓 업그레이드, 스킬 진화, 협동 플레이가 얽혀 있고, 캠페인은 10개 액트 40개 존에 걸쳐 점점 복잡한 적 무리를 던진다. 한 클래스를 바꾸면 어떤 업그레이드가 유용한지, 스킬이 어떻게 발전하는지, 파티가 감당할 수 있는 난이도가 무엇인지가 함께 흔들린다. 이런 게임에서 '밸런스'는 가장 어려운 창의적 과제이며, 핵심 시스템에 근본적 변경을 가한 뒤 그 파장을 되짚어 재조정하는 일을 Astra에 상당한 자율성과 함께 맡겼다.
Astra는 PS5·Xbox 컨트롤러 지원과 macOS·웹·리눅스 네이티브 빌드, 그리고 협동 플레이까지 자율적으로 구현했다. 특히 macOS 배포를 위해서는 새 Xcode 프로젝트 생성, App Store Connect 계정, 다수의 인증서와 엔타이틀먼트, 공증(notarization)까지 필요했는데, Astra는 자신에게 없는 권한이 필요할 때만 잠시 멈춰 승인을 요청하며 대부분을 스스로 처리했다. 게임은 에이전트도 플레이어가 될 수 있게 만들어져, 개발진이 Astra를 팀원으로 두고 실시간 협동 플레이를 하기도 했다.
실무에 남는 질문
정리하면 Astra는 파일 간 추론에서 고무적인 신호를 준다. 하지만 그 능력을 신뢰할 만한 것으로 바꾸려면 어려운 작업에서 일관된 성능, 사람이 검증할 수 있는 결론, 그리고 더 낮은 총비용이 함께 와야 한다. 데이터 보호도 빼놓을 수 없다. CodeRabbit은 자사도, 모델 제공사도 비공개 리뷰 과정에서 수집된 고객의 독점 코드나 개인정보로 AI를 학습시키지 않으며, OpenAI와 Anthropic의 데이터 보존 정책이 서로 다른 만큼 고객 리뷰에 쓰는 모델은 반드시 자사의 데이터 보호 요건을 충족해야 한다고 밝혔다. 새 모델을 도입할 때 성능 평가는 결정의 한 부분일 뿐이라는 것이다.