새로운 언어 모델이 나올 때마다 개발사들은 각종 벤치마크 점수를 앞세운다. 실무자와 의사결정자에게 벤치마크는 모델의 진전을 가늠하고 어떤 모델을 도입할지 판단하는 공통의 잣대 역할을 한다. 그런데 이 잣대에는 구조적인 약점이 있다. 성능 좋은 모델들이 특정 벤치마크에서 나란히 최고점 부근에 몰리면, 그 지표는 더 이상 모델 간 차이를 드러내지 못한다. arXiv에 공개된 한 연구는 이 현상을 '벤치마크 포화(saturation)'로 정의하고, 60개의 언어 모델 벤치마크를 대상으로 포화가 얼마나 광범위하게 일어나는지 체계적으로 분석했다.
연구진은 포화와 관련된 14가지 속성을 설정해 60개 벤치마크를 검토했다. 그 결과 전체의 거의 절반이 이미 포화 상태를 보였고, 벤치마크가 오래될수록 포화 비율이 높아지는 경향이 확인됐다. 다시 말해, 널리 인용되며 오래 살아남은 유명 벤치마크일수록 최신 모델을 변별하는 능력은 오히려 떨어져 있을 가능성이 크다는 뜻이다. 점수가 높다는 사실 자체가 모델의 우수성보다 그 지표의 수명이 다했음을 알리는 신호일 수 있다.
공개된 테스트 데이터가 문제가 아니었다
이 연구에서 특히 눈여겨볼 대목은 포화를 견디는 힘, 즉 내구성이 무엇에서 비롯되는지에 대한 분석이다. 흔히 벤치마크가 빨리 낡는 이유로 테스트 데이터가 공개돼 있어 모델이 사실상 답을 학습해버리는 '데이터 오염'을 지목한다. 그러나 연구 결과는 테스트 데이터의 공개 여부가 포화 저항성에 유의미한 영향을 주지 않는다고 보고한다. 대신 포화에 강한 벤치마크의 공통점은 전문가가 직접 문항을 선별하고 다듬는 '전문가 큐레이션'이었다.
이 구분은 실무적으로 중요하다. 데이터 오염이 원인이라면 대응책은 테스트셋을 비공개로 돌리거나 자주 교체하는 쪽이 된다. 하지만 연구가 시사하는 바는 다르다. 문항의 난이도와 다양성, 실제로 변별력 있는 문제를 골라내는 설계 자체가 벤치마크의 수명을 좌우한다는 것이다. 단순히 데이터를 감춘다고 해서 오래가는 지표가 만들어지지는 않는다.
도입 판단에 벤치마크를 쓰는 사람들에게
모델을 실제 서비스에 얹으려는 조직 입장에서 이 연구는 벤치마크 점수를 읽는 방식을 다시 생각하게 한다. 어떤 벤치마크에서 상위 모델들이 모두 90점대 후반에 몰려 있다면, 그 몇 점의 차이를 근거로 모델을 고르는 것은 통계적으로 위태롭다. 포화된 지표에서의 소수점 우위는 실제 업무 성능 차이보다 측정 잡음에 가까울 수 있기 때문이다. 오래되고 유명한 벤치마크일수록 이런 위험이 크다는 점을 함께 고려해야 한다.
따라서 도입 평가에서는 공개 벤치마크 순위를 참고자료 정도로만 두고, 자사 데이터와 실제 사용 시나리오에 맞춘 자체 평가를 병행하는 편이 안전하다. 특히 특정 도메인에 특화된 과제라면, 전문가가 검증한 문항으로 구성된 평가셋이 범용 벤치마크보다 모델 간 차이를 훨씬 선명하게 드러낼 수 있다. 이는 연구가 지적한 전문가 큐레이션의 가치와도 맞닿아 있다.
다만 이 연구가 곧바로 만능 해법을 제시하는 것은 아니라는 점도 짚어둘 필요가 있다. 분석 대상은 60개의 언어 모델 벤치마크에 한정돼 있어, 이미지나 음성, 에이전트형 과제 등 다른 유형에도 같은 결론이 적용될지는 별도의 검증이 필요하다. 또 '포화'와 '전문가 큐레이션'을 어떤 기준으로 조작적으로 정의했는지에 따라 결과의 해석 폭이 달라질 수 있다. 그럼에도 벤치마크의 설계 선택이 그 수명을 결정한다는 핵심 메시지는, 평가 지표를 만드는 쪽과 그것을 소비하는 쪽 모두에게 유효하다.
결국 벤치마크는 만들어 놓고 방치하는 고정된 자로 취급할 대상이 아니다. 모델이 빠르게 발전하는 만큼 평가 방식도 함께 갱신돼야 하며, 점수의 절대값보다 그 지표가 지금도 변별력을 갖고 있는지를 먼저 물어야 한다. 이 연구는 그 질문을 던지고 답을 찾는 출발점으로서 의미가 있다.