이번엔 트랜스포머 차례예요
개발자들 사이에 오래된 밈이 하나 있죠. “Can it run DOOM?” 1993년에 나온 게임 DOOM을 계산기, 프린터, 임신 테스트기, 냉장고 화면에서 돌려보는 도전이요. 그런데 이번엔 하드웨어가 아니라 트랜스포머예요. 깃허브에 공개된 doomformer라는 개인 프로젝트가 DOOM을 트랜스포머로 ‘바꿨다’고 나섰거든요.
트랜스포머가 뭐냐면, ChatGPT나 Claude 같은 LLM의 뼈대가 되는 신경망 구조예요. 입력을 토큰이라는 조각으로 나누고, 각 조각이 앞에 있는 조각 중 어떤 걸 참고할지 고르는 어텐션(attention) 메커니즘으로 다음 출력을 만들어요. 원래는 문장을 다루려고 만든 구조인데, 이걸로 게임을 만들었다니 대체 무슨 뜻일까요?
게임을 신경망으로 옮기는 두 가지 길
게임을 잠깐 함수로 생각해 볼게요. DOOM은 결국 (지금 상태 + 플레이어 입력) → (다음 상태 + 화면) 계산을 1초에 수십 번 반복하는 프로그램이에요. 이 함수를 신경망으로 표현하는 방법은 크게 두 갈래가 있어요.
1. 학습시키기: 월드 모델
첫 번째는 게임 플레이 영상을 잔뜩 보여주고 “이 입력이 들어오면 다음 화면은 이렇게 생겼더라”를 배우게 하는 방식이에요. 이렇게 세상이 돌아가는 방식을 흉내 내는 모델을 월드 모델(world model)이라고 불러요.
대표 사례가 2024년 구글 연구진이 발표한 GameNGen이에요. 이미지 생성에 쓰는 디퓨전 모델로 DOOM을 TPU 한 장에서 초당 약 20프레임으로 실시간 시뮬레이션했어요. 짧은 클립만 보여주면 사람도 진짜 게임과 잘 구분하지 못할 정도였고요. 이후 마인크래프트를 흉내 낸 Oasis, 직접 돌아다닐 수 있는 3D 세계를 실시간으로 만들어내는 딥마인드의 Genie 시리즈로 이어졌어요.
다만 약점도 뚜렷해요. 모델이 기억하는 과거가 몇 초 분량밖에 안 돼서, 화면 밖으로 나갔던 적이 사라지거나 탄약 숫자가 슬쩍 바뀌기도 해요. 정답을 계산하는 게 아니라 그럴듯한 다음 장면을 추측하는 방식이라 그래요.
2. 컴파일하기: 손으로 짠 가중치
두 번째는 학습 없이 프로그램 로직을 트랜스포머의 가중치(모델이 가진 숫자 값들)에 직접 새겨 넣는 방식이에요. 2021년 ‘Thinking Like Transformers’ 논문이 트랜스포머가 할 수 있는 연산을 RASP라는 작은 언어로 정리했고, 2023년 딥마인드의 Tracr는 RASP 프로그램을 실제 트랜스포머 가중치로 컴파일하는 도구를 내놨어요. 같은 해 나온 ‘Looped Transformers as Programmable Computers’ 논문은 트랜스포머를 반복해서 실행하면 범용 컴퓨터처럼 동작시킬 수 있다는 걸 보여줬고요.
비유하자면 1번은 DOOM 플레이 영상을 수천 시간 본 화가가 다음 장면을 그려내는 거고, 2번은 DOOM 소스코드를 신경망이라는 낯선 기계어로 번역하는 거예요. 2번은 결과가 정확하고 매번 똑같이 나오지만, 모델이 비효율적으로 커지고 설계도 엄청나게 까다로워요.
doomformer는 어디쯤일까요?
제목만 보면 게임 자체를 트랜스포머로 ‘옮기는’ 쪽에 가까워 보여요. 그런데 두 방식 중 어느 쪽을 택했는지, 렌더링이나 적 AI, 충돌 처리를 어디까지 구현했는지는 저장소의 README와 코드를 직접 확인해 보시길 추천해요. 이런 실험 프로젝트는 ‘어떻게 했나’보다 ‘어디서 막혔나’를 읽을 때 배우는 게 훨씬 많거든요.
업계에서 이게 왜 중요하냐면
월드 모델은 지금 AI 업계의 큰 흐름이에요. 게임 엔진을 대체하겠다는 야심도 있긴 한데, 더 현실적인 수요는 로봇과 자율주행 시뮬레이션이에요. 엔비디아의 Cosmos 같은 플랫폼은 실제 세계를 흉내 내는 모델로 로봇을 미리 훈련시키는 데 쓰이고 있어요.
컴파일 쪽은 해석 가능성(interpretability) 연구에서 쓰여요. 신경망 내부를 들여다보는 도구를 만들 때는 정답을 이미 아는 모델이 있어야 그 도구가 제대로 동작하는지 검증할 수 있잖아요. 손으로 짠 트랜스포머가 바로 그 정답지 역할을 해요.
한국 개발자에게 주는 시사점
당장 실무에 쓸 기술은 아니에요. 그래도 트랜스포머를 ‘언어 모델’이 아니라 ‘계산을 담는 그릇’으로 보는 시각을 얻는 데는 이만한 소재가 없어요.
공부 순서를 추천하자면, 카파시의 nanoGPT로 트랜스포머를 직접 짜보고, RASP나 Tracr로 정렬이나 덧셈 같은 간단한 프로그램을 가중치로 만들어 본 다음, GameNGen 논문을 읽어보면 좋아요. 사이드 프로젝트로는 스네이크나 테트리스처럼 단순한 게임의 월드 모델을 학습시켜 보는 걸 권해요. 게이밍 GPU 한 장으로도 충분히 해볼 만하고, 모델이 어느 지점에서 ‘기억을 잃는지’ 직접 보는 경험이 꽤 값지거든요.
국내 게임사들도 생성형 AI를 콘텐츠 제작과 NPC에 적극적으로 붙이고 있으니까, 게임 쪽 커리어를 생각하고 있다면 월드 모델 흐름은 꼭 따라가 두세요.
마무리
DOOM은 이제 하드웨어가 아니라 신경망 위에서도 돌아가요. 트랜스포머가 문장을 넘어 프로그램 자체를 담을 수 있다는 걸 보여주는 재미있는 신호예요.
여러분은 신경망이 언젠가 게임 엔진을 대체할 거라고 보시나요, 아니면 시뮬레이션을 돕는 도구에 머물 거라고 보시나요?
🔗 출처: Hacker News