새로운 AI 모델이 나올 때마다 공식 벤치마크 점수가 쏟아져요. 추론 능력 몇 점, 코딩 시험 몇 등... 그런데 이 숫자들을 보다 보면 '그래서 실제로 써보면 어떤데?'라는 의문이 남지 않나요? 그래서인지 요즘 개발자들 사이에서는 자기만의 엉뚱한 테스트로 모델을 평가하는 문화가 퍼지고 있는데요. 오늘 소개할 건 그중에서도 꽤 재미있는 사례예요. 한 개발자가 새 모델이 나올 때마다 던지는 프롬프트는 딱 하나거든요. '합스부르크 턱을 가진 개구리의 SVG를 그려줘.' 그리고 여러 모델이 그린 결과물을 모아둔 갤러리 사이트까지 만들었어요.
합스부르크 턱이 뭐냐면
합스부르크 가문은 수백 년 동안 유럽을 지배했던 왕가인데요, 권력을 지키려고 가문 안에서 결혼을 반복하다 보니 특유의 유전적 특징이 대대로 강해졌어요. 그게 바로 아래턱이 앞으로 길게 튀어나온 '합스부르크 턱'이에요. 왕가의 초상화만 봐도 바로 알아볼 수 있을 정도로 뚜렷한 주걱턱이죠. 그러니까 이 벤치마크는 '개구리'라는 익숙한 대상에 '합스부르크 턱'이라는 전혀 다른 맥락의 특징을 합성하라고 요구하는 거예요. 인터넷 어딘가에 합스부르크 턱 개구리 그림이 이미 있어서 모델이 통째로 외웠을 가능성은 거의 없으니, 두 개념을 진짜로 이해하고 조합할 수 있는지를 보는 거죠.
왜 하필 SVG일까
여기가 핵심인데요. 이미지 생성 모델에게 그림을 시키는 게 아니라, 텍스트 기반 LLM에게 SVG 코드를 짜라고 시켜요. SVG가 뭐냐면 XML 태그로 도형을 정의하는 벡터 이미지 포맷이거든요. <circle cx='50' cy='50' r='40'/> 이런 식으로, 원 하나를 그리려면 중심 좌표와 반지름을 숫자로 적어야 하고 곡선은 제어점 좌표를 일일이 계산해야 해요. 문제는 모델이 자기가 짠 코드의 렌더링 결과를 볼 수 없다는 거예요. 사람으로 치면 눈을 가린 채 말로만 '여기서 3센티 오른쪽에 곡선 하나' 하면서 그림을 완성하는 셈이죠. 머릿속에 공간 모델을 세우고 그걸 좌표로 옮기는 능력이 없으면 결과물이 처참해져요. 눈이 몸통 밖에 둥둥 떠 있거나, 턱이 배를 뚫고 나온 개구리가 나오는 거예요. 그래서 이 단순한 프롬프트 하나가 언어 이해, 세계 지식, 공간 추론, 코드 생성 능력을 한꺼번에 시험하는 종합 문제가 돼요.
사실 원조가 있어요
이런 방식의 원조로는 사이먼 윌리슨(Simon Willison)의 '자전거 타는 펠리컨' 벤치마크가 유명해요. 새 모델이 나올 때마다 자전거를 타는 펠리컨 SVG를 그리게 하고 결과를 비교해온 건데, 이게 널리 알려지면서 비슷한 개인 벤치마크가 많이 생겼거든요. 그런데 여기엔 아이러니가 하나 있어요. 벤치마크가 유명해지면 그 내용이 인터넷에 퍼지고, 결국 다음 세대 모델의 학습 데이터에 들어가 버려요. 이걸 벤치마크 오염(contamination)이라고 하는데요, 시험 문제가 유출된 상태로 시험을 보는 것과 같아서 점수가 실력을 반영하지 못하게 돼요. 공식 벤치마크들이 시간이 지날수록 신뢰를 잃는 큰 이유 중 하나가 이거고, 그래서 다들 아무도 모르는 '나만의 문제'를 만드는 거예요. 합스부르크 턱 개구리도 펠리컨이 너무 유명해진 지금, 아직 오염되지 않은 새 문제를 찾으려는 시도인 셈이죠.
한국 개발자에게 주는 시사점
이걸 그냥 웃긴 밈으로 넘길 수도 있지만, 실무에 가져갈 교훈이 분명히 있어요. 모델을 도입할 때 리더보드 순위만 보고 고르지 말라는 거예요. 리더보드 점수는 오염됐을 수도 있고, 무엇보다 여러분의 업무와 다른 문제를 측정하고 있을 가능성이 커요. 한국어 고객 문의를 분류하는 서비스를 만드는 팀이라면 영어 수학 문제 점수는 별 의미가 없잖아요. 실제 업무에서 뽑은 입력 20~30개로 자기만의 평가 세트를 만들어두면, 새 모델이 나올 때마다 몇 분 안에 '우리 일에 진짜 도움이 되는지'를 확인할 수 있어요. 이런 걸 프라이빗 이밸(private eval)이라고 부르는데, LLM을 쓰는 팀이라면 하나쯤 갖춰둘 가치가 충분해요. 중요한 건 평가 세트를 외부에 공개하지 않는 것. 공개하는 순간 언젠가 학습 데이터에 들어가서 못 쓰게 되거든요.
마무리
정리하면, 합스부르크 턱 개구리는 단순한 장난이 아니라 '오염되지 않은 문제로, 모델이 본 적 없는 개념 조합을 시켜보는' 꽤 영리한 평가 방법이에요. 여러분은 새 모델이 나오면 뭘 제일 먼저 시켜보시나요? 나만의 비공식 벤치마크가 있다면 댓글로 공유해주세요.
🔗 출처: Hacker News