안드레이 카파시가 짧은 소셜미디어 글에서 던진 문제의식은 겉보기보다 무겁다. 그는 이제 "자전거를 탄 펠리컨을 SVG로 그려 봐" 같은 방식으로 대형 언어 모델(LLM)을 시험하던 시기를 서서히 벗어나고 있다고 말했다. 이 한 문장은 지난 1~2년간 업계가 모델의 성능을 가늠해 온 방식이 한계에 다다랐다는 신호로 읽힌다. 실무자 입장에서 중요한 것은 특정 밈이 아니라, '무엇으로 모델을 평가할 것인가'라는 질문이 다시 열리고 있다는 사실이다.
펠리컨 테스트가 상징하던 것
'자전거를 탄 펠리컨을 SVG로'라는 과제는 원래 개발자 커뮤니티에서 유행한 비공식 벤치마크였다. 모델에게 이미지 편집 도구 없이 순수하게 코드(SVG)만으로 특정 장면을 묘사하게 시키면, 공간 추론·부위 배치·상식적 형태 감각이 어설프게 드러난다. 정답이 명확하지 않으면서도 사람 눈에는 '잘했는지 못했는지'가 즉각 보이기 때문에, 무겁고 정형화된 벤치마크 없이도 모델의 한계를 빠르게 체감하게 해 주는 도구였다.
문제는 모델이 좋아지면서 이런 종류의 단발성 과제가 점점 변별력을 잃는다는 점이다. 상위 모델들이 대체로 그럴듯한 결과를 내놓기 시작하면, 테스트는 '통과/실패'를 가르지 못하고 그저 재미있는 데모로 남는다. 카파시가 "그 영역을 떠나기 시작했다"고 표현한 지점이 바로 이 지형 변화다. 정적인 단일 프롬프트로는 최신 모델들 사이의 실질적 차이를 더는 벌려 보여 주기 어려워졌다.
예산과 시간을 변수로 넣는 발상
카파시가 대안으로 시도해 본 것은 과제 자체가 아니라 '자원의 축'을 바꾸는 것이었다. 그는 한 모델에게 『반지의 제왕』의 첫 문단을 주고, 100만 토큰(약 10달러) 규모의 예산을 부여한 뒤 무언가를 요청하는 상황을 떠올렸다. 원문이 여기서 끊겨 있어 구체적으로 무엇을 만들라고 시켰는지, 결과가 어땠는지는 공개된 조각만으로는 확인할 수 없다. 다만 발상의 뼈대는 분명하다. 짧은 한 번의 응답이 아니라, 정해진 토큰·비용 예산 안에서 모델이 스스로 계획하고 반복하며 결과물을 쌓아 올리도록 판을 바꾼 것이다.
이 접근이 흥미로운 이유는 평가 기준이 '한 번의 출력 품질'에서 '주어진 예산을 얼마나 잘 쓰는가'로 이동하기 때문이다. 같은 입력이라도 모델이 예산을 낭비하며 겉도는지, 아니면 스스로 방향을 잡고 점진적으로 개선하는지에 따라 결과가 크게 갈릴 수 있다. 이는 최근 모델들이 긴 추론과 도구 호출, 반복적 자기 수정을 다루는 능력이 좋아진 흐름과 맞닿아 있다. 짧은 정답형 과제로는 이 능력을 관측할 수 없다는 것이 핵심이다.
실무자가 읽어야 할 함의
실무 관점에서 이 이야기는 두 가지를 시사한다. 첫째, 사내에서 모델을 고를 때 쓰는 '손맛 테스트'도 재설계할 시점이라는 점이다. 단발 프롬프트 몇 개로 모델을 비교하던 관행은 상위 모델들 사이에서 변별력을 잃기 쉽다. 대신 실제 업무처럼 예산·시간·반복이 개입되는 과제를 설계해야 모델 간 차이가 드러난다. 둘째, 토큰과 비용을 '제약'이 아니라 '입력 변수'로 다루는 사고방식이다. 에이전트형 워크플로를 도입하려는 팀이라면, 한 작업에 얼마의 예산을 배정했을 때 품질이 어떻게 변하는지를 측정하는 것 자체가 유의미한 평가가 된다.
다만 한계도 분명하다. 이번 언급은 검증된 실험 보고가 아니라 한 연구자의 아이디어 스케치에 가깝고, 공개된 조각만으로는 결과의 재현성이나 우열을 판단할 근거가 없다. 예산을 키우면 결과가 좋아지는지, 어느 지점에서 수익이 꺾이는지 같은 실질적 데이터는 아직 손에 없다. '펠리컨 이후'의 평가법이 어떤 모습이어야 하는지는 여전히 열린 질문이며, 각 팀이 자신의 과제 특성에 맞춰 직접 설계해 봐야 할 영역이다. 벤치마크가 포화될 때마다 업계가 새 잣대를 만들어 온 흐름의 연장선에서, 이번 문제 제기는 그 다음 잣대를 함께 고민하자는 초대장에 가깝다.