지표가 목표가 되는 순간 망가진다 — AI 벤치마크를 덮친 굿하트의 법칙

'측정 지표가 목표가 되는 순간, 그 지표는 더 이상 좋은 지표가 아니다.' 영국 경제학자 찰스 굿하트가 남긴 이 말이 요즘 AI 업계에서 다시 소환되고 있어요. ACM 커뮤니케이션스 블로그에 이 오래된 법칙을 AI 벤치마크에 정면으로 갖다 댄 글이 올라왔거든요. 요지는 간단해요. 우리가 믿는 모든 벤치마크는, 모두가 그걸 목표로 삼는 순간부터 서서히 망가진다는 거예요.

굿하트의 법칙이 뭐냐면

일상적인 예를 들어볼게요. 콜센터에서 '평균 통화 시간'으로 상담원을 평가하기 시작하면 어떤 일이 생길까요? 상담원들은 문제를 해결하는 대신 전화를 빨리 끊는 법을 배워요. 통화 시간이라는 지표는 원래 '효율적인 상담'을 재기 위한 대리 수단이었는데, 그 자체가 목표가 되니까 원래 재려던 것과의 연결이 끊어져 버린 거죠. 소련 시절 못 공장 이야기도 유명해요. 생산량을 무게로 평가하면 크고 무거운 못만 만들고, 개수로 평가하면 쓸모없이 작은 못만 잔뜩 만들었다는 일화인데요. 지표는 늘 현실의 일부만 담기 때문에, 지표를 향해 최적화하면 담기지 않은 부분이 무너져요.

AI 벤치마크가 망가지는 세 가지 경로

이걸 AI에 대입해 보면 그림이 선명해져요. MMLU(다양한 분야의 객관식 지식 시험), HumanEval(코딩 문제 풀이), SWE-bench(실제 GitHub 이슈를 고치는 능력) 같은 벤치마크는 원래 모델의 능력을 재는 대리 지표였어요. 그런데 이 점수가 마케팅 헤드라인이 되고, 투자와 도입 결정을 좌우하게 되면서 상황이 달라졌죠.

첫 번째 경로는 데이터 오염이에요. 이게 뭐냐면, 벤치마크 문제와 정답이 인터넷에 공개돼 있다 보니 모델 학습 데이터에 섞여 들어가는 현상이에요. 시험 전에 기출문제와 답을 미리 외운 학생이 고득점하는 것과 같은 상황인데, 그 점수는 실력을 전혀 보장하지 않죠. 웹 전체를 긁어서 학습하는 요즘 방식에서는 완벽히 막기가 정말 어려워요.

두 번째는 과최적화예요. 오염이 없더라도, 개발 과정에서 특정 벤치마크 점수를 보며 모델을 다듬다 보면 그 벤치마크 스타일에만 강한 모델이 나와요. 시험 유형에 맞춘 족집게 과외를 받은 셈이라, 점수는 오르는데 일반적인 실력은 그만큼 안 오르는 거죠.

세 번째는 포화예요. 좋은 모델들이 다 90점대 후반을 받으면 벤치마크가 변별력을 잃어요. 자연어 이해 벤치마크 GLUE가 금방 정복돼서 더 어려운 SuperGLUE가 나왔고, 그것도 곧 포화된 역사가 있죠. 벤치마크의 수명이 점점 짧아지고 있는 거예요.

사람이 투표하면 괜찮을까

'그럼 고정된 문제 대신 사람들이 직접 비교 투표하게 하면 되지 않나' 싶은데요, Chatbot Arena 같은 사람 선호 기반 리더보드도 굿하트를 피하지 못했어요. 사람들은 내용이 같아도 더 길고, 서식이 예쁘고, 자신감 있게 말하는 답변에 표를 주는 경향이 있거든요. 그러니 모델을 '정확하게'가 아니라 '표를 받게' 다듬을 여지가 생기고, 실제로 리더보드 제출용으로 따로 조정된 버전이 일반 공개 버전과 달랐다는 논란도 있었어요. 지표가 목표가 되는 순간 망가진다는 법칙이, 사람 투표라는 지표에도 똑같이 적용된 거예요.

그럼 뭘 믿어야 하나

글이 말하는 방향은 '완벽한 벤치마크 찾기'가 아니에요. 그런 건 없다는 걸 인정하는 데서 시작하자는 거죠. 실무적으로는 몇 가지 보완책이 쓰여요. 정답을 공개하지 않는 비공개 평가셋, 문제를 주기적으로 새로 만드는 라이브 벤치마크, 학습 데이터 오염을 탐지하는 기법 같은 것들이요. 하지만 근본적으로 벤치마크는 대리 지표라는 사실은 변하지 않아요. 참고 자료로 쓰되, 그것만으로 결론을 내리면 안 되는 거죠.

한국 개발자에게: 내 평가셋을 만들자

실무에 주는 교훈은 명확해요. 서비스에 쓸 모델을 고를 때 리더보드 순위만 보고 결정하지 말고, 우리 서비스의 실제 데이터로 만든 자체 평가셋을 돌려보는 게 훨씬 믿을 만해요. 고객 문의 100건, 우리 코드베이스의 실제 이슈 50건, 이런 식으로요. 규모가 작아도 '우리 문제'에 대한 신호로는 공개 벤치마크보다 나아요. 그리고 이 법칙은 AI 밖에서도 유효해요. 코드 라인 수, 테스트 커버리지 숫자, 스토리 포인트 소진율 같은 지표를 목표로 걸어본 팀이라면, 지표가 어떻게 게임의 대상이 되는지 이미 겪어보셨을 거예요.