ARC-AGI 리더보드가 '효율'을 전면에 내세운 이유

인공지능 벤치마크는 대체로 '누가 더 많이 맞혔는가'라는 단일 축으로 순위를 매겨 왔다. ARC 프라이즈가 운영하는 ARC-AGI 리더보드는 여기에서 한 발 더 나아간다. 리더보드의 중심에 놓인 산점도는 과제당 비용(cost-per-task)과 성능을 두 축으로 삼아, 모델이 문제를 얼마나 잘 푸는지뿐 아니라 얼마나 적은 자원으로 푸는지를 함께 보여준다. 운영진은 '진짜 지능'이란 단순히 문제를 해결하는 능력이 아니라 최소한의 자원으로 효율적으로 해결하는 능력이라는 관점을 명시적으로 내세운다. 실무 관점에서 보면 이는 단순한 철학적 선언이 아니라, 같은 정확도라도 추론 비용이 수십 배 차이 날 수 있는 현실을 정면으로 반영한 설계다.

패시브 지능에서 상호작용 에이전트로

ARC-AGI는 세대를 거치며 측정 대상 자체를 바꿔 왔다. 초기 버전인 ARC-AGI-1과 2는 이른바 '수동적 유동 지능(passive fluid intelligence)', 즉 주어진 예시로부터 규칙을 추론해 새로운 문제에 적용하는 능력을 측정했다. 반면 최신 세대인 ARC-AGI-3는 AI 에이전트가 처음 접하는 상호작용형 환경에 실시간으로 적응할 수 있는지를 시험한다. 정적인 입출력 쌍을 맞히는 문제에서, 환경과 주고받으며 즉석에서 전략을 바꿔야 하는 문제로 무게중심이 옮겨간 것이다. 이 변화는 최근 업계의 관심이 단발성 응답 품질에서 도구를 쓰고 환경을 탐색하는 에이전트의 실전 역량으로 이동한 흐름과 맞닿아 있다.

비용 상한과 채점 규칙이 만드는 공정성

리더보드를 읽을 때 반드시 함께 봐야 할 것이 테스트 정책이다. 우선 실행 비용이 1만 달러 미만인 시스템만 순위에 표시된다. 이는 사실상 무제한의 연산을 쏟아부어 점수만 끌어올리는 접근을 걸러내고, 현실적인 예산 범위 안에서 겨룰 수 있는 시스템만 비교 대상으로 삼겠다는 장치다. 채점 방식도 명확하다. 전체 테스트 출력을 완성하지 못한 모델의 경우, 남은 과제는 오답으로 처리된다. 즉 도중에 멈추거나 형식에 맞는 답을 내지 못하면 그만큼 점수에서 손해를 본다. 정확도와 완주 능력, 비용을 한꺼번에 압박하는 구조인 셈이다.

'프리뷰'와 '잠정' 수치를 구분해서 읽어야 한다

리더보드에는 아직 확정되지 않은 수치가 섞여 있어 해석에 주의가 필요하다. '프리뷰(preview)'로 표시된 결과는 비공식이며 불완전한 테스트에 기반했을 수 있다고 명시돼 있다. 또한 일부 ARC-AGI-2 점수는 부분 테스트 결과와 o1-pro 가격 정책을 근거로 추정한 값이며, 특정 항목의 비용은 젬나이 3 프로(Gemini 3 Pro) 가격을 바탕으로 한 잠정 추정치로 모델이 정식 출시되면 재측정될 예정이라고 안내한다. 다시 말해 상위권에 올라 있는 숫자라도 그 성격이 '확정 측정치'인지 '추정치'인지에 따라 신뢰 수준이 크게 다르다. 표를 캡처해 인용하기 전에 각주부터 확인해야 하는 이유다.

실무자에게 이 리더보드가 주는 시사점은 두 가지다. 첫째, 모델 선택 시 정확도 단일 지표가 아니라 정확도와 과제당 비용을 함께 놓고 판단하는 습관이 점점 표준이 되고 있다는 점이다. 벤치마크 운영 주체가 효율을 1급 지표로 끌어올린 것은, 동일한 성능이라도 운영 비용에 따라 실제 도입 가능성이 갈린다는 현장의 감각을 반영한다. 둘째, 벤치마크가 상호작용형 에이전트 평가로 확장되고 있다는 사실은, 향후 모델 도입 검토에서 단발 응답 품질뿐 아니라 낯선 환경에서의 적응력과 완주율까지 살펴야 함을 예고한다.

다만 한계도 분명하다. 원문 수준에서 공개된 정보만으로는 개별 모델의 구체적 점수나 순위 변동, 세부 측정 조건을 판단하기 어렵고, 프리뷰·잠정 표기가 붙은 항목이 적지 않아 시점에 따라 값이 달라질 수 있다. 특히 아직 출시되지 않은 모델의 비용을 다른 제품의 가격 정책으로 대체 추정한 수치는 정식 재측정 전까지 참고용으로만 다루는 편이 안전하다. ARC-AGI 리더보드는 '누가 1등인가'를 확인하는 표라기보다, 성능과 비용의 균형이라는 렌즈로 현재 모델 생태계를 읽어내는 도구에 가깝다.