LLM이 정말로 코드를 "이해"하고 추론하는 걸까요? EsoLang-Bench는 Brainfuck, Befunge 같은 난해한 프로그래밍 언어(esoteric language)를 활용해 LLM의 순수 추론 능력을 평가하는 벤치마크입니다.
왜 난해한 언어인가
기존 코딩 벤치마크의 문제는 LLM이 학습 데이터에서 비슷한 코드를 본 적이 있을 가능성이 높다는 것입니다. Python이나 JavaScript 문제를 잘 푼다고 해서 진짜 로직을 추론하는 건지, 패턴을 재현하는 건지 구분하기 어렵습니다.
난해한 프로그래밍 언어는 학습 데이터에 거의 존재하지 않기 때문에 암기가 아닌 순수한 논리적 추론을 요구합니다. 이 접근법은 다음을 테스트합니다:
- 낯선 문법 규칙을 이해하고 적용하는 능력
- 메모리 모델과 실행 흐름을 추적하는 능력
- 진정한 의미의 "제로샷" 프로그래밍 능력
벤치마크 결과가 말해주는 것
이런 평가는 LLM의 한계를 더 정직하게 드러냅니다. 실무에서 AI 코딩 도구를 사용할 때, 모델이 잘하는 영역(익숙한 패턴)과 못하는 영역(새로운 추론)을 구분하는 데 참고가 될 수 있습니다.
LLM이 Brainfuck을 해석할 수 있다면, 그건 정말 추론일까요? 재밌는 관점의 연구입니다.
🔗 출처: Hacker News