새로 나온 AI 모델 발표를 보면 항상 벤치마크 점수표가 따라붙죠. MMLU 몇 점, HumanEval 몇 점 하는 식으로요. 그런데 요즘 이 숫자들을 보면 이상한 점이 하나 있어요. 최상위 모델들이 죄다 85점, 90점 근처에 몰려 있어서 점수만 봐서는 뭐가 더 좋은 모델인지 구분이 잘 안 된다는 거예요. arXiv에 올라온 이 논문은 바로 이 현상, 그러니까 벤치마크 포화(benchmark saturation)를 체계적으로 파헤친 연구인데요. 포화가 뭐냐면, 응시자들이 죄다 만점 근처에 도달해서 시험 자체가 변별력을 잃어버린 상태를 말해요. 시험이 쉬워진 게 아니라 모델이 너무 잘해진 건데, 결과적으로 그 시험으로는 더 이상 실력 차이를 잴 수 없게 되는 거죠.
벤치마크는 왜 포화될까
벤치마크가 포화에 이르는 경로는 크게 세 가지로 볼 수 있어요. 첫 번째는 가장 건전한 경우로, 모델이 실제로 그 능력을 정복한 거예요. 초등학교 수준 수학 문제를 모은 GSM8K 같은 벤치마크는 이제 최신 모델들이 사실상 다 풀어버리거든요. 시험이 측정하려던 능력을 모델이 넘어선 거죠.
두 번째는 좀 찜찜한 경우인데, 데이터 오염(contamination)이에요. 벤치마크의 문제와 정답이 인터넷에 공개되어 있으니, 웹을 긁어서 만든 학습 데이터에 시험 문제가 섞여 들어가는 거예요. 이러면 모델은 문제를 푸는 게 아니라 기억해서 베끼는 건데, 겉으로 보이는 점수는 올라가요. 족보가 유출된 시험이랑 똑같은 상황이죠.
세 번째는 의외로 많이 간과되는 건데, 벤치마크 자체의 결함이에요. 사람이 만든 데이터셋에는 정답이 잘못 표기됐거나 문제가 애매한 항목이 몇 퍼센트씩 꼭 섞여 있거든요. 예를 들어 문제의 3%에 오류가 있다면, 아무리 완벽한 모델이라도 97점이 사실상의 만점이에요. 그 근처에서 여러 모델의 점수가 오밀조밀 모여 있다면, 그건 능력 차이가 아니라 그냥 라벨 노이즈를 두고 다투는 것일 수 있어요. 그래서 "AI 발전이 정체됐다"는 해석이 나올 때, 실제로는 능력이 멈춘 게 아니라 재는 자(측정 도구)가 끝에 닿은 것뿐일 수도 있다는 게 이런 연구가 던지는 중요한 질문이에요.
업계는 어떻게 대응하고 있나
이 문제 때문에 최근 몇 년간 평가 생태계가 빠르게 바뀌고 있어요. 한쪽에서는 난이도를 극단적으로 끌어올린 벤치마크가 나와요. 박사급 과학 문제를 모은 GPQA, 수학자들이 만든 초고난도 문제집 FrontierMath, 온갖 분야 전문가들의 문제를 모은 Humanity's Last Exam 같은 것들이요. 다른 쪽에서는 정적인 문제 풀이 대신 실제 작업 수행 능력을 측정하는 흐름이 있어요. 실제 오픈소스 저장소의 이슈를 고치게 시키는 SWE-bench가 대표적이죠. 그리고 사람들이 두 모델의 답변을 블라인드로 비교 투표하는 LMArena 같은 방식은 문제 은행이 고정돼 있지 않아서 포화와 오염에 상대적으로 강하고요. 오염을 원천 차단하려고 문제를 비공개로 유지하는 프라이빗 평가셋을 운영하는 곳도 늘고 있어요.
이번 연구처럼 포화를 체계적으로 들여다보는 작업이 중요한 이유는, 벤치마크에도 수명 주기가 있다는 사실을 데이터로 보여주기 때문이에요. 새 벤치마크가 등장하고, 몇 년간 모델 발전의 이정표 역할을 하다가, 포화되어 은퇴하는 사이클이요. 이 사이클을 이해하면 "이 벤치마크 점수는 아직 믿을 만한가"를 판단하는 기준이 생기거든요.
한국 개발자에게 주는 시사점
실무적으로 가장 중요한 교훈은 이거예요. 모델을 고를 때 발표 자료의 벤치마크 표만 보고 결정하지 말라는 것. 포화된 벤치마크에서 1~2점 차이는 사실상 잡음이거든요. 그보다는 여러분의 실제 사용 사례로 직접 평가셋을 만드는 게 훨씬 가치 있어요. 우리 서비스에 실제로 들어오는 질문 100개, 우리 코드베이스에서 나온 실제 버그 20개, 이런 식으로요. 규모가 작아도 자기 도메인에서 만든 비공개 평가셋은 오염될 일이 없고 변별력도 확실해요. 한국어 환경이라면 더더욱 그런데요, 영어 벤치마크 점수가 높다고 한국어 성능이 비례하는 게 아니라서 KMMLU 같은 한국어 벤치마크나 자체 한국어 평가가 필수거든요.
정리하면, 벤치마크 점수가 멈춘 것처럼 보일 때 그게 AI의 한계인지 측정 도구의 한계인지 구분해야 한다는 연구예요. 여러분은 모델을 선택할 때 어떤 기준으로 평가하시나요? 자체 평가셋을 만들어 쓰시는 분이 있다면 노하우가 궁금하네요.
🔗 출처: Hacker News