대규모 언어모델(LLM)이 가장 잘하는 일 중 하나로 흔히 코드 작성이 꼽힌다. 그런데 이 능력이 코드에 대한 진짜 '이해'에서 나오는 것인지, 아니면 학습 데이터와 문맥 창에 담긴 코드 조각을 그럴듯하게 재현하는 능력에서 나오는 것인지는 명확하지 않다. 개발자 Dominik Picheta는 바로 이 질문에 답하기 위해 역발상에 가까운 실험을 했다. 사람은 쓸 수 있지만 LLM과 코딩 에이전트에게는 최대한 어렵도록 설계한 난해 언어(esoteric language) 'KillSwitch'를 직접 만들고, 주요 모델들을 벤치마크한 것이다.
모델을 노린 적대적 설계
KillSwitch의 기본 골격 자체는 낯설지 않다. 함수, 변수, if 문 정도의 제한된 구성요소를 가진 스택 기반 인터프리터 언어로, 이런 패러다임은 사람이든 LLM이든 익숙하게 받아들일 만하다. 저자도 완전히 새로운 패러다임을 만들면 모델을 더 혼란스럽게 할 수 있었겠지만, 첫 시도로는 이 정도 접근이 적절했다고 설명한다. 핵심은 구조가 아니라 세부 설계에 있다. 저자는 LLM이 알려진 약점을 보이는 지점들을 의도적으로 겨냥했다. 예컨대 글자 수를 정확히 세는 데 서툴다는 점, 안전 가드레일이 지나치게 민감하게 작동한다는 점, 그리고 프롬프트에 담긴 지시를 과도하게 충실히 따르려는 성향 같은 것들이다. 처음 본 언어를 다루게 하는 것만으로도 암기 의존도를 걷어낼 수 있고, 여기에 이런 함정을 더하면 모델의 취약점이 한층 드러난다는 발상이다.
벤치마크를 위해 저자는 일련의 과제를 만들고 주요 LLM 모델과 코딩 에이전트 하네스를 대상으로 성적을 측정했다. 인터프리터와 언어 명세는 오픈소스로 깃허브에 공개돼 있으며, 전체 Hello World 예제와 리더보드는 각각 killswitch-lang.org와 bench.killswitch-lang.org에서 확인할 수 있다.
리더보드가 보여준 것
결과에서 눈길을 끄는 대목이 몇 가지 있다. 가장 좋은 성적을 낸 것은 Claude 계열인데, 최신인 Opus 5.5가 아니라 Opus 5가 1위였다. 저자는 이 차이가 단순한 우연으로 보이지 않으며 Opus 5가 명세를 해석하는 데 더 뛰어났다고 본다. 반면 Fable 5.1이나 Gemini 4 Argon 같은 일부 모델은 지나치게 예민한 안전 가드레일 탓에 낮은 점수를 받았다. 과제 자체는 악의적이지 않은데도 모델이 방어적으로 반응해 수행을 거부하거나 흐트러진 셈이다. 공개 가중치(open-weight) 모델 중에서는 MiMo-V2.6-Pro가 가장 좋았다.
주목할 점은 최고 성적이 66.8점에 그쳤다는 사실이다. 저자는 이 수치가 LLM이 코드를 '이해'한다는 증거가 되느냐는 질문에 '아니오'라고 답한다. 현재 과제들이 아직 단순한 편이기 때문이다. Hello World 구현, 두 수의 최댓값을 출력하는 스크립트의 결과 설명, 섭씨-화씨 변환 스크립트를 역변환하도록 수정하기 같은 것들이 과제에 포함돼 있다. 모델을 혼란시키려 만든 처음 보는 언어에서 이 정도를 풀어낸다는 것은 분명 인상적이지만, 그렇다고 언어를 제대로 이해했다는 뚜렷한 신호로 보기는 어렵다는 것이다.
실무자에게 주는 함의
이 실험은 코딩 에이전트를 도입하려는 실무자에게 두 가지 현실적인 시사점을 준다. 첫째, 모델의 코드 작성 능력은 익숙한 생태계와 패턴에 상당 부분 기대고 있을 가능성이 크다. 사내 DSL이나 독자 포맷, 자료가 희박한 언어처럼 학습 데이터에 거의 없는 환경에서는 공개 벤치마크 점수만큼의 성능을 기대하기 어렵다는 뜻이다. 둘째, 안전 가드레일이 멀쩡한 작업까지 가로막는 오탐이 실제로 생산성에 영향을 준다는 점이다. 같은 과제에서 모델 간 성적이 갈린 원인 중 하나가 바로 이 과민 반응이었다는 사실은, 모델 선택 시 '얼마나 똑똑한가'뿐 아니라 '정상 작업을 얼마나 방해하지 않는가'도 함께 봐야 한다는 점을 상기시킨다.
다만 이 벤치마크의 한계도 분명하다. 과제 수가 적고 난도가 낮아 모델의 상한선을 가늠하기에는 부족하며, 등장하는 모델명과 점수는 저자가 제시한 특정 시점의 측정값일 뿐이다. 저자 스스로도 더 어려운 언어라면 어떤 결과가 나올지 궁금하다고 밝히며, 앞으로 나올 모델들이 현재 과제를 모두 통과한다면 더 복잡한 과제군을 새로 설계할 계획이라고 덧붙였다. 그럼에도 이번 단순한 과제에서의 성적이 기존의 다른 벤치마크 결과와 상관관계를 보였다는 점은, 이 작은 실험이 전혀 엉뚱한 측정이 아니었음을 뒷받침한다. '암기가 아닌 이해'를 가려내려는 시도는 여전히 초기 단계지만, 그 경계를 어떻게 설계하고 측정할지에 대한 흥미로운 출발점을 제시한 셈이다.