새 클로드 소넷 5 벤치마크, 숫자 구경 전에 알아둘 것들
AI 모델 새 버전이 나오면 제일 먼저 쏟아지는 게 벤치마크 점수예요. 이번엔 Anthropic의 Claude(클로드) 제품군 중 Sonnet(소넷) 5의 성적표가 Artificial Analysis라는 독립 평가 사이트에 올라왔어요. 그런데 이런 점수표는 그냥 '오 1등이네' 하고 넘기면 절반도 못 건지거든요. 오늘은 소넷이라는 모델이 어떤 위치에 있는지, 그리고 이런 벤치마크를 어떻게 읽어야 손해 안 보는지를 같이 풀어볼게요.
소넷은 라인업에서 '가성비 일꾼'
Anthropic의 클로드는 보통 세 등급으로 나와요. 가볍고 빠르고 싼 Haiku(하이쿠), 똑똑하지만 비싸고 다소 느린 Opus(오퍼스), 그리고 그 중간에서 균형을 잡는 Sonnet(소넷)이죠. 비유하자면 하이쿠는 경차, 오퍼스는 고급 세단, 소넷은 어디든 무난하게 잘 굴러가는 준중형이라고 보면 돼요. 실제 서비스를 운영할 때 API를 수백만 번씩 호출하다 보면 최상위 모델은 비용이 부담되거든요. 그래서 현업에서 주력 일꾼으로 가장 많이 쓰이는 게 바로 이 소넷 티어예요. 새 소넷이 나왔다는 건, 많은 회사들의 기본 모델이 한 단계 올라간다는 뜻이라 의미가 커요.
Artificial Analysis가 측정하는 것
이 사이트가 유용한 이유는 점수 하나만 던지지 않기 때문이에요. 여러 시험을 합쳐 만든 'Intelligence Index(지능 지수)'를 보여주는데, 여기엔 일반 지식(MMLU), 대학원 수준 과학 문제(GPQA), 수학 경시 유형, 코딩 실력(실제 깃허브 이슈를 고치는 SWE-bench 등)이 골고루 들어가요. 그리고 여기에 더해 속도(초당 몇 토큰을 뱉는지), 첫 응답까지 걸리는 지연 시간, 100만 토큰당 가격까지 같이 보여줘요. 그래서 이 사이트의 진짜 핵심은 단순 순위표가 아니라 '지능 대비 가격'을 점으로 찍은 산점도예요. 오른쪽 위(똑똑하면서 싼) 구석에 가까울수록 좋은 거죠.
점수에 흥분하기 전에
벤치마크를 볼 때 꼭 기억할 게 몇 가지 있어요. 첫째, 1~2점 차이는 사실상 도긴개긴이에요. 프롬프트를 어떻게 짜느냐, 측정할 때 운이 어땠느냐에 따라 그 정도는 출렁이거든요. 둘째, '데이터 오염' 문제가 있어요. 모델이 학습 과정에서 시험 문제의 정답을 이미 봤을 수도 있어서, 점수가 실제 실력보다 부풀려질 수 있어요. 셋째, 요즘 실무에서 중요한 능력 — 도구를 직접 호출하며 여러 단계를 스스로 처리하는 '에이전트' 작업이나, 아주 긴 문서를 다루는 능력 — 은 단일 점수로 잘 안 잡혀요. 그러니 점수표는 '후보를 좁히는 1차 필터'로만 쓰는 게 현명해요.
한국 개발자에게 주는 시사점
모델을 고를 때 우리는 자꾸 '제일 똑똑한 거'에 끌리는데, 실무에선 '내 작업에 충분하면서 싸고 빠른 거'가 정답인 경우가 훨씬 많아요. 예를 들어 고객 문의 챗봇, 사내 문서 검색(RAG), 코드 리뷰 자동화 같은 건 최상위 모델이 아니어도 소넷 급이면 충분히 잘 돌아가면서 비용은 몇 배로 아낄 수 있거든요. 그러니 이번 소넷 5 벤치마크를 볼 때도 점수 순위보다 '이 가격에 이 정도 성능이면 우리 호출량에 얼마가 나오지?'를 계산해 보세요. 그리고 가장 중요한 건, 남이 만든 벤치마크는 참고일 뿐이고 최종 결정은 꼭 내 데이터로 작은 평가(eval) 세트를 만들어 직접 돌려보고 내려야 한다는 점이에요.
한줄 정리
새 소넷이 의미 있는 이유는 '1등이라서'가 아니라 '가성비 주력 모델이 한 단계 올라가서'예요. 여러분은 모델 고를 때 점수와 가격 중 무엇을 더 우선으로 보시나요?
🔗 출처: Hacker News