ARC-AGI-3 첫날부터 36% 달성 — AI 추론 벤치마크의 새로운 도전이 시작됐어요

ARC-AGI가 뭔데요?

인공지능이 정말 "생각"을 할 수 있는지 테스트하는 벤치마크가 있어요. ARC-AGI(Abstraction and Reasoning Corpus for Artificial General Intelligence)라는 건데요, 2019년에 Keras의 창시자로 유명한 프랑수아 숄레(François Chollet)가 만든 테스트예요.

이게 다른 AI 벤치마크와 뭐가 다르냐면, 대부분의 AI 벤치마크는 "많이 학습한 걸 잘 기억하는지"를 테스트해요. 수학 문제를 풀거나, 코드를 짜거나, 상식 퀴즈를 맞추거나. 근데 ARC는 처음 보는 패턴을 스스로 파악해서 규칙을 추론할 수 있는지를 테스트해요. 예를 들어, 격자 위에 색깔 블록들이 특정 패턴으로 변환되는 예시 몇 개를 보여주고, 새로운 입력에 대해 출력을 맞춰보라는 거예요. 마치 IQ 테스트의 패턴 문제 같은 느낌이에요.

사람은 이런 문제를 꽤 직관적으로 풀 수 있는데, AI에게는 유독 어려워요. 왜냐면 단순히 데이터를 많이 외운다고 풀 수 있는 게 아니라, 진짜로 "추상화"와 "추론"을 해야 하거든요.

ARC-AGI-3, 그리고 Symbolica의 36%

ARC-AGI도 버전이 올라가고 있어요. 처음엔 ARC-AGI-1이 있었고, 작년에 ARC-AGI-2가 나왔는데, 이번에 ARC-AGI-3가 공개된 거예요. 버전이 올라갈수록 문제가 더 어려워지고, AI가 트릭으로 점수를 올리기 어렵게 설계돼요.

Symbolica라는 AI 연구 회사가 ARC-AGI-3 공개 첫날에 36%를 달성했다고 발표했어요. 이게 어떤 의미인지 맥락을 좀 살펴볼게요. ARC-AGI-1에서는 최고 성능이 이미 상당히 높은 수준까지 올라갔었는데, 새 버전이 나올 때마다 난이도가 확 올라가서 점수가 리셋되는 느낌이에요. 첫날에 36%라는 건 꽤 의미 있는 출발점이에요.

Symbolica의 접근법이 흥미로운데요, 이 회사는 이름에서 알 수 있듯이 "심볼릭 AI"를 연구하는 곳이에요. 심볼릭 AI가 뭐냐면, 요즘 주류인 딥러닝(신경망 기반)과는 다르게, 수학적 기호와 논리 규칙을 기반으로 추론하는 AI 방식이에요. 쉽게 비유하면, 딥러닝이 "감으로 답을 맞추는" 방식이라면 심볼릭 AI는 "수학 공식을 세워서 풀어내는" 방식이에요. 이 두 가지를 잘 결합하는 것이 현재 AI 연구의 큰 화두 중 하나예요.

왜 이 벤치마크가 중요한가

AI 분야에서는 벤치마크 자체가 연구 방향을 결정짓는 경우가 많아요. ImageNet이라는 벤치마크가 컴퓨터 비전 혁명을 이끌었고, GLUE/SuperGLUE가 자연어 처리 발전을 촉진했던 것처럼요.

ARC-AGI가 중요한 이유는 현재 LLM들의 한계를 정확히 찌르기 때문이에요. GPT-4든 Claude든 Gemini든, 이런 모델들은 훈련 데이터에서 본 패턴을 잘 재조합하는 데는 뛰어나지만, 완전히 새로운 추론 문제에서는 여전히 약해요. ARC-AGI-3는 그 약점을 더 날카롭게 테스트하도록 설계된 거예요.

경쟁 구도도 재밌어요. 기존에는 OpenAI, Google DeepMind 같은 대형 랩들이 주로 이 벤치마크에 도전했는데, Symbolica처럼 비교적 작은 연구 회사가 첫날부터 유의미한 결과를 내놓은 건 주목할 만해요. 이건 "모델 크기를 키우는 것만이 답이 아닐 수 있다"는 신호이기도 해요.

한국 개발자에게 어떤 의미가 있을까

당장 실무에 적용할 수 있는 건 아니지만, AI 엔지니어라면 몇 가지 생각해볼 포인트가 있어요.

첫째, LLM의 추론 능력에 대한 과신은 금물이에요. 프로덕트에서 AI를 쓸 때, "이 정도는 AI가 알아서 하겠지"라고 가정하기 쉬운데, ARC-AGI 같은 벤치마크를 보면 AI의 추론 능력에는 여전히 명확한 한계가 있다는 걸 알 수 있어요.

둘째, 심볼릭 AI와 신경망의 결합이라는 연구 방향에 관심을 가져볼 만해요. Symbolica의 접근법이 성과를 내고 있다는 건, 순수 딥러닝만으로는 넘기 어려운 벽이 있고 다른 패러다임과의 결합이 필요하다는 뜻이에요. 뉴로-심볼릭(Neuro-symbolic) AI라고 부르는 이 분야가 앞으로 더 주목받을 가능성이 높아요.