펠리컨 한 마리가 벤치마크가 된 사연
LLM 업계에 '펠리컨이 자전거 타는 그림'이라는 좀 특이한 테스트가 있어요. 영국의 개발자 Simon Willison이 시작한 건데요, 새 모델이 나올 때마다 '펠리컨이 자전거를 타는 모습을 SVG로 그려줘'라고 시켜보고 결과물을 블로그에 올리는 거예요. 처음엔 장난 같았는데, 이게 의외로 모델 실력을 잘 보여주는 테스트로 자리잡았거든요.
왜 그런지 잠깐 생각해볼게요. SVG가 뭐냐면, 그림을 픽셀이 아니라 '여기에 원을 그리고, 저기서 여기까지 선을 그어라'는 식의 텍스트 코드로 표현하는 포맷이에요. 그러니까 모델이 이미지 생성 기능을 쓰는 게 아니라, 순수하게 글자만 써서 그림을 만들어야 해요. 펠리컨의 긴 부리와 목주머니가 어떤 모양인지 알아야 하고(세계 지식), 자전거의 바퀴 두 개와 프레임과 페달이 어디에 붙어 있는지 좌표로 배치해야 하고(공간 추론), 그걸 문법에 맞는 SVG 코드로 써내야 해요(코딩 능력). 이 세 가지가 동시에 필요하다 보니, 작은 모델은 바퀴가 공중에 떠 있거나 펠리컨이 그냥 노란 덩어리로 나오고, 좋은 모델은 꽤 그럴싸한 그림을 만들어내요.
문제는 너무 유명해졌다는 것
그런데 이 테스트가 워낙 알려지다 보니 부작용이 생겼어요. 모델 회사들이 이 프롬프트를 의식하기 시작했고, 인터넷에 올라온 수많은 펠리컨 SVG 결과물이 다음 세대 모델의 학습 데이터로 들어갈 가능성이 커진 거예요. 이걸 벤치마크 오염(contamination)이라고 부르는데요, 쉽게 말하면 시험 문제가 미리 유출된 상황이에요. 학생이 답을 외워서 100점을 맞으면 그 점수는 실력을 보여주지 못하잖아요. 마찬가지로 모델이 펠리컨 자전거를 잘 그린다고 해서 공간 추론이 좋아졌다고 말하기 어려워진 거죠.
이번에 소개된 페이지는 일본에서 활동하는 Tom Gally가 정리한 '펠리컨 자전거 대안 모음'의 2026년 업데이트판이에요. 핵심 아이디어는 단순해요. 펠리컨과 자전거가 가진 좋은 성질은 유지하면서, 아직 인터넷에 결과물이 많이 떠다니지 않는 새로운 조합을 찾자는 거예요. 좋은 대안 프롬프트의 조건을 정리해보면 이래요. 첫째, 그리는 대상이 누구나 아는 것이어야 해요. 모델이 모양을 모르면 테스트가 아니라 지식 퀴즈가 되니까요. 둘째, 두 대상 사이에 명확한 물리적 관계가 있어야 해요. '타고 있다', '들고 있다', '위에 앉아 있다'처럼 위치 관계가 틀리면 바로 눈에 보이는 것들이요. 셋째, 부품이 여러 개여야 해요. 자전거처럼 바퀴, 프레임, 핸들, 페달이 제자리에 있어야 하는 대상이 좋아요. 페이지에서는 이런 기준에 맞는 여러 조합을 제시하고, 최근 모델들에 실제로 돌려본 결과물을 비교해 볼 수 있게 해두었어요.
공식 벤치마크도 같은 병을 앓고 있어요
사실 이 문제는 펠리컨만의 이야기가 아니에요. MMLU, HumanEval, GSM8K 같은 유명한 공식 벤치마크들도 문제가 학습 데이터에 섞여 들어가면서 점수가 부풀려졌다는 지적을 계속 받아왔거든요. 그래서 나온 대응이 LiveBench처럼 문제를 주기적으로 교체하는 방식, SWE-bench Verified처럼 사람이 검증한 문제만 쓰는 방식, 아니면 아예 문제를 공개하지 않는 비공개 평가 세트예요.
펠리컨 테스트 같은 비공식 '감각 테스트(vibe check)'가 여전히 가치 있는 이유는, 숫자 하나로 요약되지 않고 결과물을 사람이 눈으로 직접 보기 때문이에요. 점수표에서 2점 차이는 아무 느낌이 없지만, 한 모델은 자전거 체인까지 그리고 다른 모델은 바퀴를 세 개 그렸다면 그 차이는 바로 와닿거든요.
우리 팀 프롬프트는 우리가 만들어야 해요
한국 개발자들에게 실질적인 교훈은 이거예요. 모델을 고르거나 교체할 때, 공개된 벤치마크 점수만 보지 말고 우리 팀만의 비공개 테스트 세트를 만들어두세요. 실제 서비스에서 쓰는 프롬프트 몇 개, 과거에 모델이 자주 틀렸던 까다로운 케이스, 그리고 펠리컨처럼 여러 능력이 동시에 필요한 문제 몇 개를 모아두면 돼요. 이 세트는 절대 공개 저장소에 올리지 말고요. 그러면 새 모델이 나올 때마다 같은 세트를 돌려서 회귀 테스트처럼 쓸 수 있어요. 한국어 특성을 반영한 문제를 넣는 것도 중요해요. 영어 벤치마크 점수가 높아도 한국어 조사 처리나 존댓말 일관성은 별개의 이야기니까요.
한줄 정리: 벤치마크는 유명해지는 순간 오염되기 시작하니, 남이 만든 시험지 말고 우리만의 시험지를 갖고 있어야 해요.
여러분은 새 모델이 나오면 어떤 프롬프트로 먼저 감을 잡아보시나요? 팀에서 쓰는 비밀 테스트가 있다면 어떤 종류인지(구체적인 내용은 빼고) 공유해주세요.
🔗 출처: Hacker News