인공지능 모델의 '추론 능력'을 재는 대표적 척도인 ARC-AGI 벤치마크에 딥시크(DeepSeek)의 새 모델 V4 플래시 0731의 성적이 등재됐다. ARC 프라이즈(ARC Prize)가 공개한 결과에 따르면, 이 모델은 추론 강도(effort)를 최대로 높였을 때 ARC-AGI-1 세미프라이빗 세트에서 89.0%, ARC-AGI-2 세미프라이빗 세트에서 61.4%의 정확도를 기록했다. 눈에 띄는 대목은 점수 자체보다 비용이다. 각각 과제당 0.02달러, 0.04달러라는 낮은 단가로 이 성적을 냈다.
ARC-AGI가 측정하려는 것
ARC-AGI는 오픈AI나 구글의 일반적인 지식·언어 벤치마크와 성격이 다르다. 격자 형태의 도형 변환 규칙을 소수의 예시만 보고 추론해 새로운 입력에 적용하는 과제로, 사전 학습으로 답을 외우기 어렵고 '처음 보는 규칙을 그 자리에서 일반화하는 능력'을 겨냥한다. 그래서 대규모 언어모델이 상식·코딩 벤치마크를 잇달아 정복한 뒤에도 ARC-AGI, 특히 난도를 높인 ARC-AGI-2에서는 점수가 크게 떨어지는 경향이 있었다. 이번 결과에서 V4 플래시가 ARC-AGI-1에서 89%를 기록하고도 ARC-AGI-2에서는 61.4%로 내려앉은 것 역시 두 벤치마크의 난도 격차를 보여준다.
딥시크는 이번 모델을 여러 '추론 강도' 변형으로 제출했고, 각 벤치마크에서 강도별 통과·실패(pass/fail) 결과가 함께 공개됐다. 추론 강도란 모델이 답을 내기 전에 얼마나 오래, 얼마나 많은 중간 사고 과정을 거치도록 허용하느냐를 조절하는 설정이다. 강도를 높이면 정확도가 오르지만 토큰 소비와 지연 시간, 결국 과제당 비용이 함께 늘어난다. 위에 언급한 89.0%와 61.4%는 모두 '최대 강도' 조건에서 나온 값이며, 낮은 강도에서는 정확도와 비용이 함께 내려가는 절충 관계가 형성된다.
실무자가 눈여겨볼 지점
한국의 개발·기획 실무자 관점에서 이번 결과의 핵심은 '가격 대비 추론 성능'이다. 그동안 고난도 추론 성적은 과제당 수 달러에서 수십 달러에 이르는 프런티어급 추론 모델의 전유물처럼 여겨졌다. 반면 V4 플래시는 ARC-AGI-1 과제 하나를 2센트, ARC-AGI-2 과제 하나를 4센트 수준에서 처리하면서 두 자릿수 후반과 60%대 정확도를 냈다. 이는 대량의 반복 추론이 필요한 자동화 파이프라인, 예컨대 규칙 추출·데이터 정제·에이전트 루프 같은 워크로드에서 비용 구조를 근본적으로 바꿀 수 있다는 신호로 읽힌다.
다만 벤치마크 점수를 실제 제품 성능으로 곧바로 등치해서는 안 된다. ARC-AGI의 추상 격자 과제는 실무에서 흔한 자연어 처리나 코드 생성과 과제 성격이 다르며, 여기서의 강점이 다른 도메인으로 그대로 이전된다는 보장은 없다. 또한 이번에 공개된 것은 세미프라이빗 세트 기준 수치로, 공개 리더보드와 완전히 동일한 조건이 아닐 수 있다는 점도 함께 고려해야 한다.
한 가지 유의할 점은 이번 자료가 ARC-AGI-3까지 '추론 변형'을 제출했다고 밝혔지만, 구체적인 점수로 확인 가능한 것은 ARC-AGI-1과 ARC-AGI-2 두 벤치마크라는 사실이다. 상호작용형 과제 성격이 강한 ARC-AGI-3에서의 성적은 별도의 검증 자료를 기다릴 필요가 있다.
결과적으로 V4 플래시 0731은 '더 높은 점수'보다 '비슷한 점수를 훨씬 싸게'라는 방향의 사례로 평가할 만하다. 추론 강도라는 조절 손잡이를 통해 정확도와 비용을 상황에 맞게 조율할 수 있다는 점은, 모델을 하나의 고정된 성능 덩어리가 아니라 예산에 맞춰 튜닝하는 자원으로 다루려는 실무 접근과 잘 맞물린다. 도입을 검토한다면 자사 과제에 근접한 소규모 파일럿으로 강도별 비용·정확도 곡선을 직접 그려 보는 것이 가장 현실적인 검증 방법이다.