벤치마크 점수보다 직접 해보는 게 더 와닿을 때
새로운 AI 모델이 나올 때마다 벤치마크 점수표가 쏟아지잖아요. 그런데 솔직히 SWE-bench 몇 퍼센트, HumanEval 몇 점이라는 숫자를 보고 실제로 얼마나 잘 짜는지 감이 오시나요? 저는 잘 안 오더라고요.
그래서 요즘 개발자들 사이에서는 눈으로 바로 확인할 수 있는 벤치마크가 인기예요. 이번에 공개된 Pac-Bench가 딱 그런 프로젝트예요. 여러 AI 모델에게 똑같은 프롬프트로 팩맨 게임을 만들어 달라고 한 다음, 결과물을 웹에서 직접 플레이해볼 수 있게 나란히 모아놨어요. 점수표를 읽는 대신 게임을 해보면서 어떤 모델이 더 잘 만들었는지 체감하는 거죠.
원샷이 뭐냐면
여기서 핵심 조건은 원샷(one-shot)이에요. 모델에게 딱 한 번 요청하고, 나온 코드를 고치지 않고 그대로 실행한다는 뜻이에요. 우리가 평소에 AI 코딩 도구를 쓸 때는 에러가 나면 다시 물어보고, 수정 요청하고, 몇 번씩 주고받잖아요. 원샷은 그런 도움 없이 첫 시도에서 얼마나 완성도 있게 만드는지를 보는 거예요. 시험으로 치면 오픈북 없이 한 번에 답안을 제출하는 셈이죠.
왜 하필 팩맨일까요
팩맨은 겉보기엔 단순한데 막상 만들어보면 챙길 게 정말 많은 게임이에요. 그래서 코딩 능력을 평가하기에 딱 좋은 소재거든요.
- 미로와 충돌 처리: 벽을 뚫고 지나가면 안 되고, 통로 모서리에서 방향 전환이 자연스러워야 해요. 격자 기반 이동을 제대로 구현하지 않으면 캐릭터가 벽에 끼거나 코너를 못 도는 버그가 흔해요.
- 유령 AI: 원작 팩맨의 유령 넷은 성격이 다 달라요. 빨간 유령은 팩맨을 곧장 쫓고, 분홍 유령은 팩맨이 향하는 몇 칸 앞을 노리고, 나머지 둘도 각자 다른 규칙으로 움직여요. 이걸 얼마나 원작에 가깝게 구현했는지가 모델의 지식과 설계 능력을 보여줘요.
- 상태 관리: 파워 펠릿을 먹으면 유령이 파랗게 변해서 도망가고, 잡아먹힌 유령은 눈만 남아서 집으로 돌아가요. 점수, 목숨, 스테이지 전환까지 여러 상태가 맞물려 돌아가야 해요.
- 디테일: 양쪽 끝 터널로 반대편에 나오는 워프, 입을 벌렸다 닫는 애니메이션, 게임 오버 화면 같은 것들이요.
비슷한 시도들과 비교하면
이런 시각적 벤치마크는 이미 몇 가지 유명한 선례가 있어요. 사이먼 윌리슨이 꾸준히 해온 자전거 타는 펠리컨 SVG 그리기가 대표적이고, 회전하는 육각형 안에서 공이 튕기는 물리 시뮬레이션을 짜게 하는 테스트도 한동안 유행했어요. 둘 다 결과를 보면 한눈에 차이가 보인다는 공통점이 있어요.
Pac-Bench는 여기서 한 단계 더 나아가요. 그림 한 장이나 짧은 시뮬레이션이 아니라 상호작용이 있는 완성된 프로그램을 요구하거든요. 여러 시스템이 맞물린 코드를 한 번에 설계하는 능력은 실무 코딩과 훨씬 가까워요.
물론 한계도 분명해요. 팩맨은 인터넷에 구현 예제가 넘쳐나서 모델이 학습 데이터에서 본 코드를 떠올리는 것일 수도 있어요. 또 원샷 결과는 실행할 때마다 달라질 수 있어서 한 번의 결과로 모델을 단정하긴 어렵고요. 재미있는 참고 자료지 절대적인 순위표는 아니라는 점을 기억하면 좋아요.
한국 개발자에게 주는 시사점
팀에서 어떤 AI 코딩 도구를 쓸지 고민 중이라면 이 방식을 그대로 가져다 써볼 수 있어요. 공개 벤치마크 점수보다 우리 업무와 비슷한 과제를 하나 정해서 여러 모델에 똑같이 시켜보는 게 훨씬 현실적인 비교가 되거든요. 예를 들어 사내에서 자주 만드는 관리자 화면이나 API 서버 하나를 원샷 과제로 정해두고, 새 모델이 나올 때마다 돌려보는 식으로요.
그리고 결과물을 보면서 어떤 부분에서 모델이 자주 실수하는지 파악해두면 좋아요. 상태 관리에서 약한지, 엣지 케이스를 놓치는지 알면 프롬프트를 어떻게 써야 할지, 리뷰할 때 어디를 집중해서 봐야 할지도 감이 와요.
마무리
한 줄 정리: 숫자로 된 점수표 대신 직접 플레이해보는 팩맨 한 판이 AI 모델의 코딩 실력을 더 솔직하게 보여줄 수 있어요.
여러분이 AI 모델의 코딩 실력을 비교할 때 쓰는 나만의 테스트 과제가 있나요? 팩맨 말고 이런 원샷 벤치마크로 쓰기 좋은 게임이나 프로그램이 있다면 뭘 추천하고 싶으신가요?
🔗 출처: Hacker News