ML 벤치마크의 과학: 우리가 모델을 평가하는 방식은 정말 올바른가

머신러닝 벤치마크의 설계, 한계, 그리고 올바른 활용법을 체계적으로 다루는 온라인 서적 "The Emerging Science of Machine Learning Benchmarks"가 공개되었습니다.

핵심 내용

이 책은 ML 벤치마크를 단순한 리더보드 경쟁 도구가 아닌, 하나의 과학적 방법론으로 바라봅니다. 벤치마크가 어떻게 설계되어야 하는지, 데이터 오염(data contamination)이 결과에 미치는 영향, 그리고 벤치마크 점수가 실제 성능과 얼마나 괴리가 있는지를 구체적인 사례와 함께 분석합니다.

특히 최근 LLM 시대에 들어 벤치마크의 문제가 더욱 부각되고 있습니다. MMLU, HumanEval 같은 유명 벤치마크들이 포화(saturation) 상태에 도달하거나, 학습 데이터에 벤치마크 문제가 포함되는 오염 이슈가 반복적으로 제기되고 있기 때문입니다.

맥락과 의미

한국 개발자들도 모델 선택 시 벤치마크 점수를 주요 기준으로 참고합니다. 하지만 "MMLU 90점짜리 모델이 실제 한국어 태스크에서는 기대 이하"라는 경험을 해본 분이 적지 않을 것입니다. 이 책은 그 괴리가 왜 발생하는지를 구조적으로 이해하게 해줍니다.

모델을 평가하거나 자체 벤치마크를 설계해야 하는 ML 엔지니어라면 한 번쯤 읽어볼 만한 레퍼런스입니다. 무료로 웹에서 전문을 읽을 수 있습니다.

여러분은 모델 선택 시 벤치마크 외에 어떤 기준을 중요하게 보시나요?