새 AI 모델이 나오면 공식 벤치마크 점수표가 따라붙지만, 개발자들 사이에서 진짜 궁금해하는 건 따로 있어요. 바로 '자전거 타는 펠리컨을 SVG로 그려줘'라는 테스트인데요. 영국 개발자 사이먼 윌리슨(Simon Willison)이 몇 년째 새 모델이 나올 때마다 똑같이 시켜온 비공식 벤치마크예요. 그런데 최근 '혹시 AI 연구소들이 이 테스트에 몰래 대비하고 있는 것 아니냐'는 의문을 정면으로 파고든 글이 올라왔어요. 제목의 'Pelicanmaxxing'은 '펠리컨 점수 끌어올리기'쯤 되는 신조어고요.
이 벤치마크가 뭐냐면요
SVG는 그림을 픽셀이 아니라 XML 텍스트로 기술하는 벡터 그래픽 포맷이에요. '중심이 (50, 40)이고 반지름이 10인 원'처럼 도형과 좌표를 글로 쓰는 방식이죠. 그러니까 LLM에게 SVG를 그리라는 건, 결과 이미지를 한 번도 보지 못한 채 머릿속 공간 감각만으로 좌표를 찍어서 그림을 완성하라는 요구예요. 눈을 감고 말로만 그림을 그리는 셈이라, 언어 모델의 공간 추론 능력을 재밌게 찔러보는 테스트거든요. 하필 펠리컨과 자전거인 이유도 있어요. 인터넷 어디에도 흔치 않은 엉뚱한 조합이라 학습 데이터에서 베껴올 수 없을 거라는 계산이었죠. 초기 모델들은 부리 달린 타원 덩어리 수준이었는데, 요즘 모델들은 제법 그럴듯한 펠리컨을 그려내요. 그래서 질문이 나오는 거예요. 모델이 진짜 똑똑해진 걸까요, 아니면 펠리컨만 열심히 연습한 걸까요?
어떻게 검증했을까요
글쓴이의 접근이 깔끔해요. 펠리컨-자전거만 잘 그리는 건지 확인하려면, 비슷한 난이도의 다른 조합과 비교하면 되거든요. 다른 동물에 다른 탈것을 태워서 같은 방식으로 그리게 하고 품질을 나란히 놓는 거예요. 어떤 모델이 유독 펠리컨-자전거 조합에서만 눈에 띄게 잘한다면 표적 최적화를 의심할 근거가 되고, 조합을 바꿔도 고르게 잘한다면 공간 표현 능력이 전반적으로 좋아졌다고 볼 수 있는 거죠. 그런데 여기서 이 논의가 짚는 더 흥미로운 지점이 있어요. 연구소가 의도적으로 조작하지 않아도 오염은 자연스럽게 일어난다는 거예요. 윌리슨의 블로그 글과 거기 실린 수많은 펠리컨 SVG 결과물은 이미 인터넷에 널리 퍼졌고, 다음 세대 모델의 학습 데이터에 흘러들어갈 수밖에 없거든요. 벤치마크는 유명해지는 순간 순수성을 잃는다는 역설이에요.
업계 맥락
이건 사실 AI 평가 전반의 고질병이에요. '측정 지표가 목표가 되는 순간 좋은 지표이기를 멈춘다'는 굿하트의 법칙(Goodhart's Law) 그대로거든요. 수학 벤치마크에서 문제의 숫자만 살짝 바꿔도 점수가 뚝 떨어지는 현상이 관측되면서 학습 데이터 오염 논란이 일었던 적도 있고, 사용자 투표로 순위를 매기는 챗봇 아레나에서는 순위에 유리한 답변 스타일로 모델을 다듬는다는 논란도 있었어요. 그래서 요즘은 공식 점수표보다 각자의 '바이브 체크'(자기만의 감각 테스트)를 더 신뢰하는 분위기가 커졌는데, 펠리컨 테스트가 유명해지면서 그 바이브 체크마저 오염 대상이 된 상황인 거죠.
우리에게 주는 시사점
실무에서 모델을 고를 때 벤치마크 점수를 그대로 믿으면 안 되는 이유가 하나 더 늘어난 셈이에요. 가장 확실한 방어책은 비공개 평가셋을 만드는 거예요. 여러분 서비스에서 실제로 쓰는 프롬프트 20~30개를 뽑아서, 어디에도 공개하지 않은 채로 새 모델이 나올 때마다 돌려보는 거죠. 공개되지 않은 테스트만이 오염에서 자유롭거든요. 특히 한국어 처리 품질은 영어 중심 벤치마크에 거의 반영되지 않으니, 한국어 서비스를 만드는 팀이라면 자체 평가셋의 가치가 훨씬 커요. 존댓말 처리, 한국어 고유명사, 우리 도메인 용어 같은 걸 넣어서요. 모델 교체를 검토할 때마다 같은 세트를 돌리면, 점수표 마케팅에 흔들리지 않는 자기만의 기준이 생겨요.
정리하면, 펠리컨 소동의 교훈은 '유명한 벤치마크는 이미 벤치마크가 아니다'예요. 여러분은 새 모델이 나오면 제일 먼저 뭘 시켜보시나요? 각자의 펠리컨 테스트를 댓글로 공유해봐요.
🔗 출처: Hacker News