GPT-6 Astra, ARC-AGI-3 정복—그래도 AGI는 아니라는 이유

OpenAI의 GPT-6 계열 모델 'Astra'가 ARC-AGI 벤치마크 3세대에서 최고 성적을 냈다. ARC-AGI-3는 처음 보는 추상적 턴 기반 환경에서 에이전트가 스스로 목표를 추론하고 규칙을 파악해 행동을 계획하는 능력을 측정한다. 명시적 지시가 없다는 점이 핵심으로, 에이전트는 환경을 탐색하며 내부 모델을 세워야 한다. 이 환경들은 사람이라면 100% 풀 수 있도록 난이도가 보정돼 있어, 인간과 AI 사이에 남은 격차를 재는 잣대로 설계됐다. ARC-AGI 시리즈는 '사람이 습득할 수 있는 모든 기술을, 사람만큼 효율적으로 습득하는 능력'을 AGI로 정의하고 그 잔여 격차를 추적한다.

두 harness, 두 성적표

주목할 점은 같은 모델이라도 실행 환경(harness)에 따라 결과가 크게 갈렸다는 것이다. 모델이 스스로 남길 메모만 이어받는 최소한의 표준 harness에서 Astra(max)는 세미-프라이빗 세트에서 62.7%를 기록했고 비용은 2만 6천 달러였다. 반면 제공사가 설계한 컨텍스트 관리 기능—외부에 노출되지 않는 추론 상태(opaque reasoning state)를 요청 간 유지하고 긴 대화를 compaction으로 압축하는—을 쓰는 Provider Adapter harness에서는 Astra(high)가 99.9%를 1만 9천 달러에 달성했다. 둘 다 최고 기록이지만, 후자가 전자보다 집계 시간 기준 약 3.66배 빠르고 두 harness가 모두 푼 167개 게임-추론 쌍에서 토큰을 49% 적게 썼다. 실무자에게 이는 모델 자체의 성능과 '운영 방식'을 분리해서 봐야 한다는 점을 시사한다. 같은 가중치라도 상태 관리 파이프라인을 어떻게 짜느냐에 따라 정확도와 비용이 크게 달라진다.

행동 효율, 인간 기준선을 넘다

이번 결과에서 가장 의미 있는 지표는 정답 여부가 아니라 '행동 효율'이다. ARC 측은 벤치마크 출시 전 약 500명의 일반인을 대상으로 각 레벨을 몇 번의 행동으로 푸는지 측정해, 완주자들의 중앙값을 인간 기준선으로 삼았다. Provider Adapter harness에서 Astra(max)는 전체 레벨의 96.0%에서 인간 기준선보다 적은 행동으로 풀었고, 레벨당 평균 51.7% 적은 행동을 썼다. 즉 문제를 맞히는 데 그치지 않고, 환경을 이해하는 데 필요한 '경험량' 측면에서 인간 수준에 도달하거나 이를 넘어선 것이다. 대다수 벤치마크가 계산 자원(비용 효율)만 재는 것과 달리, ARC-AGI-3는 환경과 몇 번 상호작용해야 하는지를 측정한다는 점에서 결이 다르다.

ARC 측은 출시 전만 해도 AI가 문제를 풀더라도 인간보다 훨씬 많은 탐색이 필요할 것이라 예상했다고 밝혔다. 그러나 무차별 대입식 접근을 제외하면, 최전선 모델은 이분법적 패턴을 보였다. 일단 게임 메커니즘을 '이해'하고 나면 대체로 인간 효율 범위 안에서 실행한다는 것이다. Astra의 리플레이에서는 객체 위치와 좌표, 규칙, 미완의 계획을 추적하며 스스로 만든 코드 같은 상징 표기법으로 장면을 압축하는 모습이 관찰됐다. 완전한 프로그래밍 언어는 아니지만 즉석에서 만든 대수적 속기에 가깝다.

도구를 만드는 모델, 그리고 조건의 함정

더 나아가 코드 실행 샌드박스를 허용한 PRO-LONG harness에서 Astra는 게임마다 전용 도구 묶음을 만들었다. 보드 파서, 게임 상태 모델, 탐색 알고리즘, 플래너, 지속 메모를 구성했고, 긴 실행에서는 게임 전용 소형 라이브러리까지 만들어냈다. 예컨대 경비병과 순찰이 등장하는 미로형 게임 tu93에서는 maze_solver.py로 길찾기를 시작해 combat_solver.py로 전투 규칙을, patrol_solver.py로 이동 순찰을 모델링하고 sync_state.py로 예측과 관측을 대조했다. 다만 ARC 측은 이 결과를 신중히 읽으라고 못박는다. 인간 참가자에게는 코드 인터프리터나 스크래치패드가 없었기 때문에, PRO-LONG 성적은 모델과 도구가 결합된 성능으로 이해해야 한다.

비용 비교도 흥미롭다. 인간 참가자는 90분 세션당 115달러에 완주 게임당 5달러를 받았고, 세션당 약 9게임을 시도해 보너스 전 게임당 약 12.78달러가 들었다. 이 비용의 대부분은 참가자의 시간과 응시 의사에 대한 대가다. 만약 뇌가 쓰는 에너지만 전기료로 환산하면 세션당 약 0.6센트, 게임당 0.067센트로 떨어진다는 것이 ARC 측 추정이다. AI 비용과의 직접 비교는 이처럼 무엇을 계산에 넣느냐에 따라 완전히 달라진다.

진전이되, AGI 선언은 아니다

ARC 측은 Astra를 최전선 모델 역량의 눈에 띄는 계단식 도약으로 평가하면서도, 벤치마크 포화가 곧 AGI 달성의 증거는 아니라는 점을 분명히 했다. ARC-AGI-3는 결정론적이고 폐쇄형인 메커니즘과 목표를 가진, 범위가 좁게 한정된 환경이며 현실 세계의 개방성과 복잡성을 대변하지 않는다. 실무 관점에서 이번 발표가 주는 교훈은 두 가지다. 하나는 지시 없이도 인과적 세계 모델을 세우고 목표를 달성하는 에이전트 역량이 실질적 문턱을 넘었다는 것, 다른 하나는 그 성적을 읽을 때 harness와 도구라는 실행 조건을 반드시 함께 봐야 한다는 것이다. ARC 측은 앞으로 표준과 Provider Adapter 결과를 모두 조건을 명시해 리더보드에 올리기로 했으며, 재귀적 자기개선과 개방형 혁신을 어떻게 평가할지를 다음 세대 벤치마크의 과제로 남겨뒀다.