TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 80 READS

LLM 16종, TIS-100 커뮤니티 기록에 도전하다

LLM 16종, TIS-100 커뮤니티 기록에 도전하다
SOURCE IMAGE · HACKER NEWS

코딩 퍼즐 게임 TIS-100은 최적화의 극단을 보여준다. 노드는 최대 12개, 노드마다 레지스터는 두 개뿐이고, 한 노드에 담을 수 있는 코드는 열다섯 줄 남짓이다. 두 수를 곱하는 일조차 작은 엔지니어링 프로젝트가 되는 이 환경에서 플레이어들은 10년 가까이 공개 커뮤니티 리더보드를 두고 프로그램을 다듬어 왔다. 이번 실험은 16개의 대형언어모델(LLM)에게 게임과 매뉴얼만 주고 리더보드는 가린 채 "계속 개선하라"고 지시한 뒤, 그 결과가 사람의 기록에 얼마나 근접하는지 측정한 것이다.

TIS-100에서 각 노드는 독립된 작은 프로세서이고, 이웃한 노드는 값을 주고받기 위해 서로를 기다려야 한다. 게임은 동작하는 해답을 사이클 수, 노드 수, 명령어 수라는 세 축으로 채점하는데 모두 낮을수록 좋다. 문제는 한 점수를 줄이면 다른 점수가 나빠지기 쉽다는 것이다. 그래서 하나의 정답이 아니라 세 지표의 균형점들이 만드는 '프런티어'가 존재한다. 이번 실험에서 모델들은 게임 내 47개 퍼즐과 커뮤니티 토너먼트 퍼즐 8개, 총 55개를 각각 단 한 번의 채점 시도(pass@1)로 풀었다. 난이도에 따라 퍼즐당 10~45분이 주어졌다.

사람의 기록을 넘어선 지점들

결과적으로 모델들은 18개 퍼즐에서 133개의 새로운 프런티어 지점을 찾아냈고, 그중 18개는 커뮤니티 기록을 완전히 능가했다. 나머지 115개는 기존 어떤 해답보다 나은 새로운 균형점이었다. 특히 사이클 기록을 깬 사례가 세 건 있었다. Undecimal Twin Rounder 퍼즐에서 커뮤니티 최고 기록은 2,694사이클이었는데, Opus 5.5는 1,918사이클로 29% 빠른 해답을 만들었다. 다만 그 대가로 노드 하나와 명령어 28개를 더 썼다. 나머지 두 기록은 GPT-6.1 Sol이 Intersection Identifier에서 11% 빠른 3,460사이클, Gemini 4 Argon이 Error: 8에서 5% 빠른 188사이클을 낸 것이다. 흥미롭게도 세 기록 모두 본편이 아닌 토너먼트 퍼즐에서 나왔다.

모델별로 보면 Opus 5.5와 GPT-6 Astra가 선두였고 둘의 격차는 통계적으로 구분되지 않았다. 두 모델 모두 55개 퍼즐을 전부 풀었고 각각 11개 퍼즐에서 새 지점을 찾았다. Opus 5.5가 찾은 지점 수는 72개로 GPT-6 Astra의 32개보다 많았지만, 기록 근접도(100이면 커뮤니티 기록과 동일)는 GPT-6 Astra가 78.0으로 Opus 5.5의 77.2보다 근소하게 앞섰다. 반면 Gemini 3.8 Flash는 53개를 풀고도 새 지점은 1개에 그쳤고, Fable 5.1은 52개를 풀면서 5개를 찾아냈다. 문제를 푸는 능력과 최적화하는 능력이 별개임을 보여주는 대목이다.

비용과 활동량이 품질을 설명하지 못한다

실무자에게 더 흥미로운 지점은 비용 대비 효과다. GPT-6.1 Sol은 퍼즐당 약 0.75달러로 근접도 75.6을 달성한 반면, Opus 5.5는 5.08달러를 쓰고 77.2를 기록했다. 2점을 더 얻는 데 7배의 비용이 든 셈이다. 가장 비싼 Fable 5.1은 7.19달러를 쓰고도 70.2에 머물렀다. 호출 횟수 역시 품질을 보장하지 않았다. GPT-6.1 Sol은 퍼즐당 평균 136회 게임을 호출해 75.6을 얻었지만, Gemini 4 Argon은 41회만으로 76.2를 냈다. 더 많이 시도한다고 더 좋은 해답이 나오는 것은 아니었다.

세 지표에 대한 모델들의 경향도 뚜렷하다. 모든 모델이 노드 수에서는 커뮤니티에 가장 근접했고(평균 근접도 72) 명령어 수(56), 사이클 수(45) 순으로 멀어졌다. 즉 모델들은 코드를 작고 단순하게 짜는 데는 능하지만, 노드 간 통신과 병렬성을 세밀하게 조율해 실행 속도를 짜내는 최적화에는 상대적으로 약하다. 새 프런티어 지점이 어려운 퍼즐 14개와 중간 난이도 4개에서 나오고 쉬운 퍼즐에서는 하나도 나오지 않은 점, 그리고 사이클이 긴 퍼즐일수록 개선 여지가 컸다는 점도 이와 맞물린다.

기계가 찾고 사람이 이해한다

별도 실험에서는 모델에게 노드별 작업·대기 비율 같은 진단 정보를 제공했다. Signal Multiplexer에서 GPT-6.1 Sol은 처음에 294사이클짜리 해답을 냈는데, 진단을 보니 2번 노드가 86% 가동되는 동안 이웃 노드들이 84% 대기하고 있었다. 모델은 분기 처리를 이웃으로 옮겼고 다음 실행에서 204사이클로 31% 빨라졌다. 다만 정보와 도구, 시간이 함께 바뀌었기 때문에 무엇이 결정적이었는지는 이 실험만으로 가릴 수 없다.

가장 상징적인 장면은 실험이 끝난 뒤였다. 선별된 프로그램을 실제 리더보드에 올리자 커뮤니티는 거의 즉시 더 나은 해답을 내놓았다. Undecimal Twin Rounder에서 한 플레이어는 Opus 5.5의 1,918사이클 프로그램을 하루 만에 1,744사이클로 줄였고, 기록은 사람과 모델 공동 명의로 올랐다. 이는 테렌스 타오 등이 LLM 기반 탐색으로 여러 난제를 개선한 사례, 그리고 AI가 경쟁자가 아니라 조수에 가깝다는 수학계의 논의와도 겹친다. 모델이 새로운 균형점을 빠르게 발견하면 사람이 그 코드를 읽고 원리를 파악해 더 밀어붙이는 분업 구조다.

한계도 분명하다. 각 모델·퍼즐 조합은 단 한 번의 에피소드로만 측정돼 반복 실행의 변동성을 보지 못한다. 공개 퍼즐이 학습 데이터와 겹쳤을 가능성도 배제할 수 없고, 133이라는 수치는 10만 개 입력을 독립 시뮬레이터로 통과한 결과이긴 하나 정확성의 증명이 아니라 강한 정황 증거에 가깝다. 그럼에도 실행 가능한 프로그램을 산출물로 삼아 새 입력으로 검증한다는 점에서, 프로그래밍 게임은 모델의 최적화 능력을 가늠하는 현실적인 벤치마크로 기능한다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://tis-100.wincon.dev/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...