AI 모델의 성능을 재는 공식 벤치마크는 수학 문제 풀이나 코드 작성 정확도처럼 정량화하기 쉬운 과제에 집중한다. 그러나 실제 업무에서 모델을 쓰다 보면 이런 표준 지표가 잡아내지 못하는 미묘한 차이가 존재한다. 지시를 얼마나 문자 그대로 따르는지, 요청하지 않은 맥락을 얼마나 덧붙이는지, 그리고 생소한 과제를 마주했을 때 어떻게 반응하는지 같은 것들이다. 최근 공개된 한 개인 벤치마크는 이런 지점을 정확히 겨냥한다. 모든 모델에게 던지는 프롬프트는 단 하나, "합스부르크 턱을 가진 개구리를 SVG로 그려라"다. 각 모델은 한 달에 세 번씩 시도할 기회를 얻는다.
왜 하필 이 프롬프트인가
합스부르크 턱은 근친혼으로 유명했던 합스부르크 왕가에서 대대로 나타난 하악 전돌증, 즉 아래턱이 앞으로 튀어나온 유전적 특징을 가리킨다. 이 프롬프트는 두 가지를 동시에 시험한다. 하나는 벡터 그래픽을 코드로 생성하는 능력이다. SVG는 픽셀 이미지가 아니라 좌표와 도형을 텍스트로 기술하는 형식이어서, 모델이 공간을 어떻게 추론하는지가 그대로 드러난다. 다른 하나는 '합스부르크'라는 역사적·해부학적 함의가 담긴 단어를 어떻게 해석하느냐다. 개구리라는 평범한 대상에 왕가의 기형이라는 낯선 조건을 결합한 이 조합은, 모델이 단순한 라벨 붙이기를 넘어 어디까지 나아가는지를 관찰하기에 적합하다.
결과가 보여준 두 갈래
공개된 실행 기록을 보면 모델들의 반응은 크게 갈린다. 한쪽은 SVG 주석에 '몸통', '다리', '눈', '콧구멍', '입선'처럼 신체 부위를 지칭하는 구조적 라벨만 남긴다. 다른 한쪽은 요청받지 않은 서사를 적극적으로 덧붙인다. 어떤 실행에서는 '왕관을 씌웠다(합스부르크니까)', '황금양모기사단 메달', '주름 옷깃', '벨벳 방석' 같은 왕실 도상이 등장했고, '거만하게 내려다보는 눈동자', '침울한 합스부르크식 표정', '나른한 귀족적 눈꺼풀'처럼 감정과 기품을 부여하는 묘사도 나왔다. 심지어 턱을 '하악 전돌증'이라는 임상 용어로 부르거나 '근친혼 때문에 처진 윗입술'처럼 병리적·계보학적 해설을 붙인 사례도 있었다.
실행 시간과 결과물 크기의 편차
기록된 수치들 역시 흥미로운 편차를 보인다. 같은 프롬프트인데도 한 번의 생성이 5초 안팎에 끝나기도 하고, 어떤 실행은 250초를 넘겼다. 출력된 SVG 파일 크기도 1KB 남짓한 간결한 결과부터 1만4천 바이트에 달하는 정교한 결과까지 폭이 넓었다. 대체로 시간을 오래 들이고 용량이 큰 결과물일수록 왕실 장식과 해부학적 해설을 풍부하게 덧붙이는 경향이 관찰된다. 물론 파일이 크다고 그림이 더 낫다는 보장은 없다. 이 벤치마크는 렌더링된 결과의 시각적 완성도까지 정량화하지는 않으며, 주석에 담긴 해석의 양과 방향을 관찰하는 데 초점이 있다.
실무자가 얻을 만한 함의
이런 별난 실험이 업무와 무슨 상관이냐고 물을 수 있다. 그러나 여기서 드러나는 '요청 범위를 넘어 맥락을 채워 넣는 성향'은 실제 개발과 콘텐츠 생성 현장에서 그대로 문제가 된다. 명세에 없는 기능을 알아서 추가하거나, 중립적으로 기술해야 할 대상에 해석과 감정을 얹는 모델은 편리할 때도 있지만 통제가 필요한 파이프라인에서는 예측 가능성을 떨어뜨린다. 반대로 지시받은 것만 정확히 수행하는 모델은 창의적 과제에서 밋밋하게 느껴질 수 있다. 어느 쪽이 우월하다기보다, 자신의 용도에 맞는 성향을 파악하는 것이 핵심이다. 소규모라도 스스로 정의한 프롬프트로 여러 모델을 나란히 돌려 보는 개인 벤치마크가 유용한 이유가 여기에 있다.
남는 한계
다만 이 실험을 과대 해석해서는 곤란하다. 한 달에 세 번이라는 표본은 통계적 신뢰를 논하기에 턱없이 적고, 하나의 프롬프트로 측정한 성향을 모델의 전반적 능력으로 일반화할 수도 없다. 주석의 해석 여부를 판정하는 기준 역시 다분히 주관적이며, 어떤 모델이 어떤 결과를 냈는지 기명으로 비교하기보다 경향의 다양성을 드러내는 데 목적이 있는 실험으로 읽는 편이 온당하다. 그럼에도 표준 리더보드가 놓치는 결을 손수 만든 질문 하나로 비춰 본다는 발상 자체는, 모델을 실무에 들이기 전 각자 정의한 잣대로 검증해야 한다는 오래된 교훈을 다시 일깨운다.