AI 모델 선택이 실무의 문제로 넘어오면서, 단일 벤치마크 점수 하나로 모델을 고르던 시대는 사실상 끝났다. 벤치마크 집계 사이트인 Artificial Analysis는 총 586개 모델을 표준화된 프롬프트로 직접 측정하고, 그 가운데 170개 모델을 대상으로 '지능(Intelligence Index)'을 산출한다. 여기에 가격, 출력 속도, 지연 시간, 컨텍스트 윈도, 응답 완료 시간 같은 축을 함께 제시한다. 실무자가 실제로 마주하는 질문—'이 작업에 충분히 똑똑하면서, 얼마나 빠르고, 토큰당 얼마인가'—를 한 화면에서 비교하도록 설계된 구조다.
지능 지수는 무엇을 재는가
현재 기준인 Intelligence Index v4.1은 단일 시험이 아니라 여러 평가의 묶음이다. GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience, AA-LCR 등이 각각 가중치를 갖고 합산된다. 이름에서 드러나듯 은행 업무형 태스크, 터미널 조작, 과학 코드 작성, 대학원 수준 물리·과학 문제, 장문 맥락 추론까지 성격이 크게 다른 과제를 섞어 놓았다. 하나의 모델이 특정 시험에서 강해도 전체 지수에서 밀릴 수 있다는 뜻이며, 반대로 '내 업무와 가까운 개별 평가'를 따로 봐야 하는 이유이기도 하다. Artificial Analysis 스스로도 모델 지능이 대체로 여러 용도로 전이되지만, 특정 평가가 특정 용도에 더 적합할 수 있다고 명시한다.
리더보드 상단은 Claude Opus 5 계열이 차지하고 있다. Opus 5(Adaptive Reasoning, Max Effort)가 61점으로 170개 모델 중 1위이며, 같은 모델의 Xhigh Effort 설정이 60점으로 뒤를 잇는다. 3위는 Claude Fable 5(Max Effort, Opus 4.8 Fallback) 60점, 4위 GPT-5.6 Sol(max) 59점, 5위는 다시 Opus 5의 High Effort 설정 59점이다. 눈여겨볼 대목은 상위권 다수가 '같은 모델의 서로 다른 노력(effort) 설정'이라는 점이다. 즉 모델을 바꾸지 않아도 추론 강도를 어떻게 잡느냐에 따라 점수가 움직이며, 이는 곧 비용과 응답 시간의 트레이드오프로 직결된다.
속도·가격·지연은 완전히 다른 순위표를 만든다
지능 상위 모델과 실무 선택지가 일치하지 않는다는 사실은 다른 지표를 보면 분명해진다. 출력 속도에서는 Mercury 2가 초당 901.6토큰으로 가장 빠르고, HyperNova 60B 2605(439.5t/s)와 Gemini 3.5 Flash-Lite(436.5t/s)가 뒤따른다. 가격에서는 Nova Micro가 100만 토큰당 0.03달러(블렌디드)로 가장 저렴하며 Sarvam 30B(high), Gemma 4 E4B(비추론)가 같은 수준이다. 첫 토큰까지의 지연 시간은 Gemini 2.5 Flash-Lite(비추론)가 0.33초로 최저이고 Command A+(0.42초), North Mini Code(0.49초) 순이다. 최상위 지능 모델은 이 세 순위표 어디에도 이름을 올리지 않는다.
특히 추론(reasoning) 모델의 지연 지표는 해석에 주의가 필요하다. Artificial Analysis의 첫 토큰 시간 정의에는 답을 내놓기 전 모델이 '생각'하는 시간이 포함된다. 노력 설정을 높인 고득점 구성일수록 첫 응답까지 더 오래 기다려야 한다는 의미다. 500토큰 응답 완료 시간, 태스크당 평균 소요 시간 같은 지표도 결국 이 사고 시간을 반영한다. 대화형 UX처럼 체감 지연이 중요한 서비스라면, 지능 61점 구성이 아니라 지연이 짧은 저노력 구성이나 별도 모델이 정답일 수 있다.
오픈 웨이트와 신뢰성이라는 별도의 축
가중치가 공개된 오픈 웨이트 모델은 도입 방식 자체가 다르기 때문에 따로 볼 가치가 있다. 전체 170개 중 94개가 오픈 웨이트로 분류되며, 이 가운데 GLM-5.2(max)가 지능 51점으로 가장 높다. MiniMax-M3(44)와 DeepSeek V4 Pro(44)가 뒤를 잇는다. 다만 가중치가 공개돼 있어도 상업적 사용이 제한되는 경우는 'Commercial Use Restricted'로 표시되며, 보통 유료 라이선스가 필요하다는 점을 라이선스 검토 단계에서 확인해야 한다.
지능 지수와 별개로 실무에서 무게가 큰 지표가 AA-Omniscience Index다. 이 지표는 지식의 신뢰성과 환각(hallucination)을 측정하며, 정답에는 가점, 환각에는 감점을 주되 '모른다고 답하는 것'에는 벌점을 주지 않는다. 점수 범위는 -100에서 100이고, 0은 맞힌 만큼 틀렸다는 뜻, 음수는 오답이 정답보다 많다는 뜻이다. 사실성이 곧 제품 리스크가 되는 검색·상담·문서 처리 영역에서는 이런 '환각을 벌하는' 지표가 종합 지능보다 더 직접적인 선택 기준이 된다.
결국 이 리더보드가 주는 실무적 함의는 순위 1위를 그대로 채택하라는 것이 아니다. 지능·비용·속도·지연·신뢰성이 서로 다른 순위표를 만든다는 사실 자체가 핵심이며, 자신의 워크로드에 해당하는 개별 평가와 노력 설정을 골라 비교하는 것이 합리적이다. 다만 여기 수치는 대부분 1차 제공사 API 또는 공급자 중앙값 기준이라 실제 배포 환경의 캐시 정책, 라이선스, 지역별 지연과는 차이가 날 수 있어, 최종 판단은 자체 트래픽으로 재측정한 값 위에서 내리는 편이 안전하다.