
'LLMs Play Zachtronics' TIS-100'이라는 프로젝트가 공개됐어요. 이름 그대로 대형 언어 모델(LLM)에게 TIS-100이라는 게임을 시켜보는 실험인데요. 이 게임을 아는 분이라면 조합만 듣고도 웃음이 나올 거예요. 사람한테도 어렵기로 유명하거든요. 이 글에서는 TIS-100이 어떤 게임이고, 왜 LLM의 실력을 가늠해 보기에 재미있는 무대인지를 풀어볼게요. (참고로 이 글은 사이트의 세부 결과를 확인해 옮긴 것이 아니라, 게임 자체와 이런 실험의 의미를 배경 지식 중심으로 정리한 글이에요. 구체적인 결과는 프로젝트 사이트 tis-100.wincon.dev 에서 직접 확인해 주세요.)
TIS-100이 뭐냐면
TIS-100은 2015년에 Zachtronics가 내놓은 프로그래밍 퍼즐 게임이에요. 제작사 스스로 '아무도 부탁한 적 없는 어셈블리 프로그래밍 게임'이라고 소개했을 정도로 콘셉트가 확실해요. 플레이어는 고장 난 가상의 옛날 컴퓨터를 고치기 위해 어셈블리 코드를 직접 짜야 해요. 어셈블리가 뭐냐면, 기계가 알아듣는 명령을 거의 그대로 한 줄씩 적는 가장 낮은 수준의 프로그래밍 언어예요.
그런데 이 컴퓨터가 좀 이상하게 생겼어요. 작은 연산 장치(노드) 12개가 3행 4열로 놓여 있고, 각 노드는 상하좌우 이웃과만 숫자를 주고받을 수 있어요. 노드 하나가 가진 기억 공간은 ACC와 BAK, 딱 두 칸이에요. 그나마 BAK은 직접 읽고 쓸 수 없고 SAV(저장)와 SWP(맞바꾸기) 명령으로만 건드릴 수 있어요. 노드 하나에 적을 수 있는 코드는 최대 15줄, 다룰 수 있는 숫자는 -999부터 999까지고요. 명령어도 MOV, ADD, SUB, JMP, JEZ 같은 열세 개가 전부예요.
일상에 비유하면 이래요. 메모지 한 장과 주머니 하나만 가진 사람 열두 명이 격자로 앉아서, 옆 사람에게 쪽지를 건네는 것만으로 정렬이나 곱셈 같은 일을 해내야 하는 거예요. 게다가 쪽지는 받는 사람이 손을 내밀 때까지 건네는 사람도 멈춰 서서 기다려야 해요. 이걸 블로킹 통신이라고 하는데, 타이밍이 어긋나면 모두가 서로를 기다리며 멈춰버리는 교착 상태(데드락)가 생겨요.
LLM에게 왜 까다로울까
요즘 LLM은 파이썬이나 자바스크립트는 정말 잘 짜잖아요. 그런데 TIS-100은 성격이 꽤 달라요. 제가 보기에 까다로울 만한 지점은 크게 세 가지예요.
첫째, 익숙한 패턴이 통하지 않아요. 변수도, 배열도, 함수도 없어요. 값을 잠깐 저장해 두는 당연한 일조차 옆 노드를 창고처럼 쓰는 식으로 풀어야 해요. 학습 데이터에서 수없이 본 코드를 떠올려 조합하는 방식으로는 한계가 있고, 제약 안에서 새로 설계해야 하죠.
둘째, 공간과 동시성을 함께 생각해야 해요. 어떤 계산을 어느 노드에 맡기고 데이터를 어느 방향으로 흘려보낼지가 곧 설계예요. 모든 노드가 동시에 돌아가니 코드를 위에서 아래로 읽는 것만으로는 동작을 예측할 수 없고, 여러 노드의 상태를 한꺼번에 따라가야 해요.
셋째, 한 번에 맞히기가 어려워요. 사람도 TIS-100은 짜고, 돌려보고, 어디서 막히는지 보고, 고치는 과정을 반복하며 풀어요. LLM도 결국 실행 결과를 보고 스스로 디버깅하는 에이전트 방식으로 접근해야 하고, 그러면 코딩 실력뿐 아니라 실패에서 원인을 찾아내는 능력까지 드러나요.
채점 방식도 흥미로워요. TIS-100은 정답 여부만이 아니라 실행 사이클 수, 사용한 노드 수, 명령어 수를 따로 집계해서 다른 플레이어들의 분포와 비교해 보여주거든요. '풀었다'와 '잘 풀었다'가 구분되는 구조라서, 모델의 최적화 감각까지 들여다볼 여지가 있어요.
게임으로 AI를 시험하는 흐름
최근 AI에게 게임을 시키는 실험이 부쩍 늘었어요. Anthropic의 'Claude Plays Pokémon'이나 Gemini에게 포켓몬을 시킨 'Gemini Plays Pokémon'이 대표적이고, 공장 자동화 게임을 평가 환경으로 만든 Factorio Learning Environment 같은 연구도 있었죠. 이런 시도가 늘어나는 건 기존 벤치마크의 한계 때문이에요. 널리 알려진 코딩 문제는 답이 학습 데이터에 섞여 들어갔을 가능성이 커서, 점수가 높아도 외운 건지 푼 건지 구분하기가 어렵거든요.
포켓몬류 실험이 긴 호흡의 계획과 기억을 본다면, TIS-100은 결이 달라요. 문제 하나하나는 짧지만 극단적인 제약 속에서 정확한 프로그램을 만들어야 하니, 낯선 규칙 체계를 이해하고 그 안에서 설계하는 능력을 보기에 좋아요. 다만 TIS-100도 나온 지 오래돼서 풀이가 인터넷에 꽤 공개돼 있다는 점은 감안해야 해요. 모델이 정말 추론한 건지 기억을 꺼내 쓴 건지 따져보는 것도 관전 포인트예요.
한국 개발자에게 주는 시사점
당장 업무에 가져다 쓸 도구는 아니에요. 하지만 생각해 볼 거리는 분명해요. 우리가 코딩 에이전트를 고를 때 보는 벤치마크 점수는 대부분 익숙한 언어와 익숙한 문제 유형에서 나온 숫자예요. 그런데 실무에는 사내 전용 DSL(특정 용도로만 쓰는 작은 언어), 오래된 레거시 시스템, 문서가 거의 없는 임베디드 환경처럼 학습 데이터에 없던 세계가 꽤 많거든요. 낯선 제약 환경에서 모델이 얼마나 버티는지는 이런 현장에서의 쓸모를 짐작하게 해주는 힌트가 돼요.
TIS-100 자체도 한번 해볼 만해요. 메모리와 동시성, 데이터 흐름을 몸으로 익히기에 이만한 교재가 드물거든요. 주니어 분들이라면 저수준 프로그래밍 감각을 게임으로 맛볼 수 있는 좋은 기회예요.
마무리
한 줄로 정리하면, TIS-100은 AI에게 '많이 본 코드'가 아니라 '처음 보는 제약'을 풀게 하는 시험대예요. 여러분은 LLM의 진짜 실력을 가늠하기에 어떤 과제가 좋다고 생각하시나요? 직접 시켜보고 놀랐던 낯선 문제가 있다면 들려주세요.
🔗 출처: Hacker News