비디오가 아니라 ‘들어가서 걸어 다닐 수 있는’ 세계
Google DeepMind가 Genie 4를 발표했어요. 이름만 보면 또 하나의 영상 생성 AI 같지만, Genie 시리즈는 출발점부터 좀 달라요. Sora나 Veo 같은 비디오 생성 모델이 ‘보는 영상’을 만든다면, Genie는 사용자가 키를 누르면 거기에 반응하는 세계를 만들거든요. 앞으로 가면 앞쪽 풍경이 생성되고, 고개를 돌리면 옆쪽이 생성돼요. 게임 엔진 없이 모델이 매 순간 다음 화면을 상상해서 그려내는 거예요.
딥마인드는 Genie 4를 ‘새로운 세대의 월드 시뮬레이션’이라고 소개하고 있어요. 이게 왜 의미가 있는지 알려면 먼저 ‘월드 모델’이 뭔지부터 짚고 가는 게 좋아요.
월드 모델이 뭐냐면
월드 모델(World Model)은 쉽게 말해 ‘내가 이렇게 행동하면 세상이 어떻게 바뀔까’를 예측하는 모델이에요. 컵을 밀면 테이블 끝에서 떨어지겠구나, 하고 우리가 머릿속으로 미리 그려보잖아요? 그 머릿속 시뮬레이터를 AI로 만든 거라고 보면 돼요.
일반 비디오 생성 모델은 ‘텍스트 → 영상’에서 끝나요. 월드 모델에는 여기에 행동(action)이라는 입력이 더해져요. 구조를 단순화하면 이전 화면들 + 지금 누른 키 → 다음 화면을 아주 빠르게 반복하는 거예요. 이렇게 한 프레임씩 이어 붙여 만드는 방식을 자기회귀(autoregressive) 생성이라고 하는데, LLM이 문장을 한 단어씩 이어 쓰는 것과 비슷한 원리예요.
Genie 시리즈가 걸어온 길
Genie 4를 제대로 보려면 앞선 버전들의 흐름을 아는 게 도움이 돼요.
- Genie 1 (2024년 2월): 인터넷에 있는 2D 플랫포머 게임 영상으로 학습했어요. 영상에는 ‘어떤 키를 눌렀는지’ 정보가 없는데도 모델이 행동의 종류를 스스로 알아냈다는 게 재밌는 부분이에요(잠재 행동 모델, latent action model). 이미지 한 장으로 플레이할 수 있는 2D 게임을 만들 수 있었죠.
- Genie 2 (2024년 12월): 3D로 넘어갔어요. 이미지 한 장에서 시작해 키보드와 마우스로 돌아다닐 수 있는 3D 환경을 만들었는데, 일관성이 유지되는 시간은 길어야 1분 정도였어요.
- Genie 3 (2025년 8월): 텍스트 프롬프트만으로 720p, 초당 24프레임 세계를 실시간으로 만들었고, 몇 분 동안 일관성을 유지했어요. ‘비 내리게 해줘’처럼 돌아가고 있는 세계에 이벤트를 끼워 넣는 기능도 보여줬고요.
진짜 어려운 문제: 기억과 일관성
월드 모델이 제일 힘들어하는 건 일관성이에요. 게임 엔진은 건물의 3D 좌표를 메모리에 저장해두니까 뒤돌았다가 다시 봐도 건물이 그대로 있어요. 그런데 Genie 같은 모델에는 명시적인 3D 지도가 없어요. ‘지금까지 본 화면들’만 기억해서 다음 화면을 그려야 하죠. 그래서 시간이 지날수록 작은 오차가 쌓여 건물 모양이 조금씩 바뀌거나 길이 사라지는 현상(drift)이 생겨요. 월드 모델의 세대 차이는 결국 ‘얼마나 오래, 얼마나 정확하게 기억하느냐’의 싸움이라고 해도 과언이 아니에요.
경쟁 구도: 같은 목표, 다른 길
OpenAI는 Sora를 공개할 때부터 ‘비디오 생성 모델은 세계 시뮬레이터’라는 관점을 내세웠지만, Sora는 상호작용보다 영상 품질에 무게를 두고 있어요. NVIDIA Cosmos는 로봇이나 자율주행 같은 물리 AI용 월드 모델을 오픈 가중치로 공개했고, Microsoft는 실제 게임 플레이 데이터로 학습한 Muse를 내놨어요. 페이페이 리의 World Labs는 다른 길을 가는데요, 내보내서 다시 쓸 수 있는 명시적 3D 세계를 생성해요. 메타의 V-JEPA 계열은 픽셀을 그리지 않고 추상적인 표현 공간에서 미래를 예측하고요.
정리하면 Genie는 ‘픽셀을 직접 생성하면서 실시간으로 상호작용’하는, 가장 공격적인 노선이에요. 결과물이 화려한 만큼 일관성과 연산 비용이라는 숙제도 가장 크게 안고 있어요.
한국 개발자에게 주는 시사점
딥마인드가 월드 모델에 이렇게 공을 들이는 진짜 이유는 게임보다 AI 에이전트와 로봇 훈련이에요. 현실에서 로봇을 수만 번 넘어뜨리면서 가르치는 건 비싸고 위험하잖아요. 다양한 가상 세계를 끝없이 만들어낼 수 있으면 에이전트 훈련 비용이 확 내려가요. 휴머노이드와 제조 로봇에 투자가 몰리는 한국에서도 지켜볼 만한 흐름이에요.
게임 업계 얘기도 해볼게요. 월드 모델이 당장 엔진을 대체하진 않을 거고, 기획 단계 프로토타이핑에서 먼저 쓰일 가능성이 커요. ‘이런 분위기의 맵’을 몇 분 만에 직접 걸어보고 판단할 수 있다면 기획 회의 방식부터 달라질 테니까요.
현실적으로 보면 Genie 3도 처음엔 소수의 연구자와 크리에이터에게만 공개됐어요. 지금은 API로 서비스에 붙이는 것보다 개념을 익혀두는 게 맞아요. 직접 만져보고 싶다면 NVIDIA Cosmos 같은 공개 모델로 시작해보세요.
마무리
핵심 한 줄: Genie 4는 ‘영상을 만드는 AI’에서 ‘세계를 시뮬레이션하는 AI’로 가는 길의 맨 앞에 있어요.
월드 모델이 언젠가 게임 엔진을 대체할까요, 아니면 엔진 옆에서 돕는 도구로 남을까요? 이 기술이 실무에 제일 먼저 들어올 분야는 어디라고 보세요?
🔗 출처: Hacker News