손바닥만 한 보드 위에서 AI가 그리는 게임
라즈베리 파이 피코 2 W(Raspberry Pi Pico 2 W)라는 보드, 들어 보셨나요? 우리가 흔히 아는 라즈베리 파이처럼 리눅스가 돌아가는 소형 컴퓨터가 아니에요. 그보다 훨씬 작고 단순한 마이크로컨트롤러 보드예요. 가격은 만 원 안팎인데 램이 고작 520KB예요. 메가바이트가 아니라 킬로바이트요. 요즘 웹페이지 하나 띄울 때 쓰는 메모리보다도 작죠.
그런데 이 작은 보드에서 '월드 모델(world model)'로 게임을 돌리는 오픈소스 프로젝트 tinyworldformer가 공개됐어요. 게임 엔진이 아니라 신경망이 게임 화면을 만들어 낸다는 이야기예요. 요즘 AI 연구에서 가장 뜨거운 주제 중 하나를 가장 작은 하드웨어로 끌어내렸다는 점이 흥미로운 시도예요.
월드 모델이 뭐냐면
보통 게임은 이렇게 돌아가요. 플레이어가 오른쪽 키를 누르면 게임 엔진이 물리 규칙과 게임 로직에 따라 캐릭터 위치를 계산하고, 렌더러가 그 결과를 화면에 그려요. 모든 규칙이 개발자가 짠 코드 안에 명시적으로 들어 있어요.
월드 모델은 접근 방식이 완전히 달라요. 규칙을 코드로 짜는 대신, 신경망에 수많은 게임 플레이 기록을 보여 주면서 '지금 화면이 이렇고 플레이어가 이 버튼을 눌렀다면 다음 화면은 어떻게 될까?'를 예측하게 학습시켜요. 학습이 끝나면 게임 엔진 없이도 신경망이 다음 프레임을 계속 상상해서 그려 내요. 비유하자면 게임 규칙서를 읽은 사람이 아니라, 남이 게임하는 걸 수천 시간 옆에서 지켜보다가 머릿속으로 게임을 재생할 수 있게 된 사람에 가까워요.
이 분야는 최근 몇 년 사이에 빠르게 발전했어요. 구글 연구진의 GameNGen은 디퓨전 모델로 고전 게임 둠(DOOM)을 실시간으로 생성해 보였어요. Decart의 Oasis는 마인크래프트 스타일의 세계를 만들었고, 구글 딥마인드의 Genie 시리즈는 이미지나 텍스트 한 줄로 조작 가능한 3D 세계를 만들어 냈어요. 문제는 이런 모델 대부분이 고성능 GPU나 TPU에서 돌아간다는 거예요.
520KB 램에 월드 모델을 넣는다는 것
그래서 tinyworldformer가 재미있는 거예요. 이름으로 짐작하면 트랜스포머(Transformer) 구조를 아주 작게 줄인 월드 모델로 보여요. 이런 환경에서 신경망을 돌리려면 평소의 딥러닝과는 완전히 다른 감각이 필요해요.
피코 2 W의 두뇌인 RP2350 칩은 150MHz로 동작하는 듀얼 코어 프로세서예요. GPU는 당연히 없고, 저장 공간인 플래시 메모리도 4MB가 전부예요. 이 안에 모델 가중치와 실행 중 계산 결과를 모두 넣어야 해요. 이렇게 작은 환경에서 신경망을 돌릴 때는 보통 이런 기법을 써요.
- 양자화(Quantization): 32비트 실수로 저장하던 가중치를 8비트 이하 정수로 줄여서 크기를 4분의 1 이하로 만드는 기법이에요. 정밀도를 조금 내주고 메모리와 속도를 얻는 거죠.
- 아주 낮은 해상도와 단순한 화면: 고해상도 3D 대신 작은 격자나 픽셀 몇십 개 수준의 단순한 게임을 다뤄요.
- 잠재 공간(latent space) 예측: 화면 픽셀을 그대로 예측하지 않고, 화면을 압축한 작은 숫자 묶음을 예측한 다음 다시 화면으로 풀어내요. 계산량을 크게 줄일 수 있어요.
- 가중치는 플래시에, 계산은 램에서: 가중치는 플래시에서 바로 읽어 쓰고, 귀한 램은 중간 계산에만 아껴 써요.
업계 흐름에서 보면
이 프로젝트는 두 흐름이 만나는 지점에 있어요. 하나는 앞에서 말한 월드 모델 연구고, 다른 하나는 TinyML이에요. TinyML은 마이크로컨트롤러처럼 전력과 메모리가 아주 적은 기기에서 머신러닝을 돌리는 분야예요. 지금까지는 키워드 음성 인식, 센서 이상 감지, 간단한 이미지 분류처럼 입력을 보고 판단하는 작업이 대부분이었어요. 텐서플로 라이트 마이크로(TensorFlow Lite Micro)나 엣지 임펄스(Edge Impulse) 같은 도구가 대표적이죠.
그런데 월드 모델은 판단이 아니라 생성을 해요. 매 프레임 다음 상태를 만들어 내야 하니 훨씬 무겁죠. 작은 언어 모델을 마이크로컨트롤러에 올리는 실험은 가끔 있었지만, 상호작용하는 게임 형태의 월드 모델은 꽤 신선한 조합이에요. 안드레이 카파시의 nanoGPT가 GPT의 원리를 짧은 코드로 보여 줬던 것처럼, 이런 초소형 구현은 실용성보다 원리를 직접 만져 보게 해 준다는 데 더 큰 가치가 있어요.
한국 개발자에게 주는 시사점
솔직히 이 프로젝트를 당장 서비스에 쓸 일은 없을 거예요. 하지만 공부 재료로는 정말 좋아요.
월드 모델이 궁금했는데 논문만 보고 엄두가 안 났던 분이라면, 오히려 이렇게 작은 구현이 입문하기 좋아요. 모델이 작으니 코드 전체가 한눈에 들어오고, 어떤 입력을 받아 어떤 출력을 내는지 따라가기 쉽거든요. 피코 2 W는 국내에서도 쉽게 구할 수 있으니 직접 보드에 올려 봐도 좋아요.
임베디드 개발자라면 다른 쪽에서 흥미로울 거예요. 몇백 KB 메모리 안에서 신경망 추론을 최적화해 본 경험은, 가전·IoT·웨어러블에 온디바이스 AI가 들어가면서 점점 귀해질 역량이에요. 양자화나 메모리 배치 같은 기법은 스마트폰용 모델 경량화에도 그대로 쓰이고요.
마무리
한 줄로 정리하면, 월드 모델은 이제 거대 GPU만의 이야기가 아니에요. 만 원짜리 보드에서도 그 원리를 직접 만져 볼 수 있게 됐어요.
마이크로컨트롤러에서 AI를 돌려 본 경험이 있으신가요? 그리고 게임 엔진 대신 신경망이 화면을 만드는 월드 모델이 언젠가 실제 게임 개발 방식까지 바꿀 수 있을 거라고 보시나요?
🔗 출처: Hacker News