'AI로 애니메이션을 만든다'고 하면 보통 프롬프트 몇 줄 넣으면 영상이 뚝딱 나오는 장면을 상상하잖아요. 그런데 실제로 AI 애니메이션 시리즈를 제작하고 있는 스튜디오 아벤토스(Aventos)가 자기들 제작 과정을 상세히 공개했는데, 결론부터 말하면 정반대였어요. 이들은 자기 방식을 'AI 보조, 인간 연출(AI-assisted, human-directed)'이라고 부르는데요. AI는 어디까지나 그림을 그려주는 렌더링 엔진이고, 이야기와 연출은 전부 사람이 한다는 거예요.
파이프라인을 뜯어보면요
시작은 전통적인 애니 제작이랑 똑같아요. 각본과 에피소드 구성은 인간 작가가 쓰고, 스토리보드(콘티)도 사람이 직접 그려요. 콘티가 뭐냐면, 각 장면의 구도와 카메라 위치, 캐릭터의 연기를 러프하게 그려놓은 설계도라고 보시면 돼요. 이 단계에서 이미 '어떤 그림이 나와야 하는지'가 다 정해지는 거죠.
AI가 본격적으로 들어오는 건 그다음이에요. 먼저 자기들이 디자인한 캐릭터로 LoRA 스타일의 커스텀 모델을 학습시켜요. LoRA가 뭐냐면, 거대한 이미지 생성 모델 전체를 다시 학습시키는 게 아니라 작은 추가 모듈만 학습시켜서 특정 캐릭터나 화풍을 모델에 주입하는 기법이에요. 이걸 해두면 어느 컷에서든 주인공의 얼굴과 의상, 신체 비율이 일관되게 나오거든요. AI 영상에서 제일 어려운 게 캐릭터가 컷마다 딴 사람이 되는 문제인데, 이걸 캐릭터 전용 모델로 잡는 거죠.
키프레임, 그러니까 동작의 핵심 포즈가 되는 정지 화면은 디퓨전 모델로 생성하는데, 여기서 ControlNet 계열의 조건부 생성 기술이 핵심이에요. 이게 뭐냐면, '아무거나 예쁘게 그려줘'가 아니라 사람이 그린 콘티의 포즈, 깊이, 선화 정보를 조건으로 걸어서 정확히 그 구도, 그 포즈대로 그리게 강제하는 기술이에요. 그리고 키프레임 사이의 움직임은 이미지-투-비디오 모델이 채워요. 전통 애니로 치면 원화 사이를 채우는 동화(in-betweening) 작업을 AI한테 맡기는 셈이죠. 복잡한 액션 컷은 시드 값과 모션 프롬프트를 바꿔가며 컷 단위로 여러 번 뽑고, 사람이 다듬는대요.
품질 관리도 체계적이에요. 캐릭터별 임베딩과 장면별 컬러 스크립트를 기준으로 삼고, 자동 QC 파이프라인이 캐릭터가 설정과 다르게 그려진 '오프 모델' 프레임을 찾아내면 재생성하거나 사람이 직접 수정해요. 편집, 사운드, 성우 녹음은 기존 편집 툴과 오디오 툴에서 사람이 하고, 주연 캐릭터에 AI 음성은 쓰지 않는다고 하고요.
왜 이 방식이 의미가 있냐면요
이들이 강조하는 포인트가 하나 있어요. '프롬프트만으로는 원하는 연기를 절대 뽑을 수 없다'는 거예요. 감독이 원하는 특정한 표정, 특정 타이밍의 시선 처리는 텍스트로 아무리 설명해도 안 나오고, 결국 사람이 그린 구조물에 AI를 조건부로 묶어야 한다는 거죠. 요즘 Sora나 Kling 같은 영상 생성 모델의 데모가 화려하긴 한데, 멋진 4초짜리 클립과 이야기가 있는 20분짜리 에피소드는 완전히 다른 문제라는 걸 보여주는 사례예요. 전통 애니 업계가 동화 작업을 해외 외주로 돌려온 역사를 생각하면, 그 자리를 AI가 대체해가는 구도이기도 하고요.
한국 개발자 관점에서는요
웹툰, 게임, 버추얼 휴먼처럼 캐릭터 IP를 다루는 국내 팀이라면 이 파이프라인이 바로 참고가 돼요. 핵심 교훈은 '생성 모델을 쓰되, 통제 수단을 먼저 설계하라'는 거거든요. LoRA로 스타일을 고정하고, ControlNet으로 구도를 강제하고, 자동 QC로 오프 모델을 걸러내는 3단 구조는 애니뿐 아니라 어떤 비주얼 콘텐츠 파이프라인에도 그대로 적용할 수 있어요. 프롬프트를 잘 쓰는 것보다 조건부 생성(컨디셔닝) 구조를 잘 설계하는 게 진짜 실력이 되는 시대인 거죠.
정리하면, AI 애니의 실체는 '자동 생성'이 아니라 '사람이 설계한 틀 안에서의 대량 렌더링'이에요. 여러분은 어떻게 보세요? 이런 하이브리드 파이프라인이 결국 애니 제작의 표준이 될까요, 아니면 완전 자동화로 가는 과도기적 형태일까요?
🔗 출처: Hacker News