[심층분석] Neuro-sama를 내 컴퓨터에서 키운다고? 셀프호스팅 AI 컴패니언 'AIRI' 해부하기

왜 지금 이 프로젝트를 봐야 할까요

혹시 Neuro-sama(네우로사마)라는 AI 버튜버를 들어보셨나요? 영국의 개발자 Vedal이 만든 이 AI 캐릭터는 트위치에서 실시간 방송을 하는데요. 시청자 채팅에 즉석에서 재치 있는 답을 하고, 노래를 부르고, 게임도 직접 플레이해요. 사람이 뒤에서 대본을 읽어주는 게 아니라, AI가 스스로 듣고, 생각하고, 말하는 거거든요. 'AI가 하나의 캐릭터, 하나의 존재처럼 활동할 수 있다'는 걸 처음으로 대중에게 각인시킨 사례라고 할 수 있어요.

AIRI는 바로 이 Neuro-sama를 오픈소스로 재현해보겠다는 프로젝트예요. 그런데 여기서 중요한 키워드가 하나 있어요. 바로 'Self hosted, you-owned'인데요. 셀프호스팅이라는 건, 쉽게 말해서 남의 서버(클라우드)에서 빌려 쓰는 게 아니라 내 컴퓨터에 직접 설치해서 돌린다는 뜻이에요. Character.AI나 Replika 같은 AI 캐릭터 서비스는 회사 서버에서 돌아가기 때문에, 회사가 정책을 바꾸거나 서비스를 접으면 내가 애정을 쏟은 캐릭터도 함께 사라져요. AIRI는 '당신의 AI 친구는 당신이 소유해야 한다'는 철학으로 이 문제를 정면으로 겨냥하고 있는 거죠.

실제로 프로젝트 설명에는 '소울 컨테이너', 그러니까 캐릭터의 인격(소울)을 담는 그릇을 오픈소스로 만들겠다는 표현이 나와요. 웹 브라우저, macOS, Windows를 모두 지원하고, 실시간 음성 대화는 물론 마인크래프트와 팩토리오 같은 게임까지 직접 플레이할 수 있다고 하고요.

기술 분석: '살아있는 것처럼' 보이게 만드는 파이프라인

AIRI의 핵심은 여러 AI 기술을 하나로 엮는 실시간 파이프라인이에요. 파이프라인이라는 건, 공장의 조립 라인처럼 데이터가 여러 단계를 차례로 통과하면서 처리되는 구조를 말하는데요. AI 캐릭터가 살아있는 것처럼 느껴지려면 대략 이런 흐름이 필요해요.

1. 듣기(음성 인식, STT): 사용자의 말소리를 텍스트로 바꿔요. 이때 VAD(음성 활동 감지)라는 기술로 '지금 사람이 말하는 중인지'를 먼저 판단해요. 이게 없으면 AI가 내 말이 끝나기도 전에 끼어들거든요.
2. 생각하기(LLM): 변환된 텍스트를 대형 언어 모델이 받아서 캐릭터의 성격에 맞는 답변을 만들어요.
3. 말하기(TTS): 답변 텍스트를 캐릭터의 목소리로 합성해요.
4. 표현하기(아바타): Live2D나 VRM 같은 캐릭터 모델이 입 모양(립싱크)과 표정을 실시간으로 움직여요.

이 네 단계가 자연스러운 대화처럼 느껴지려면 전체 지연 시간이 1~2초 안에 끝나야 해요. 한 단계라도 느리면 뜸을 잔뜩 들이는 어색한 로봇이 되거든요. AIRI가 기술적으로 흥미로운 지점이 바로 여기예요. 웹 버전은 WebGPU라는 브라우저 기술을 활용하는데요. WebGPU는 쉽게 말해 브라우저에서도 그래픽카드(GPU)의 힘을 빌려 AI 모델을 직접 돌릴 수 있게 해주는 표준이에요. 덕분에 일부 모델은 별도 서버 없이 브라우저 안에서 바로 실행할 수 있어요.

저장소 구조를 보면 규모가 상당해요. pnpm 워크스페이스 기반의 모노레포(여러 프로젝트를 한 저장소에서 관리하는 방식)로, TypeScript와 Vue로 만든 웹 버전, 데스크톱 앱, 심지어 Godot 게임 엔진으로 만드는 '스테이지 타마고치' 버전까지 있어요. Rust 설정 파일이 보이는 걸로 봐서 성능이 중요한 부분은 Rust로 작성하고 있다는 것도 알 수 있고요. 커밋이 4천 개가 넘는, 꾸준히 굴러가는 살아있는 프로젝트예요.

게임을 '직접' 플레이한다는 것의 의미

마인크래프트와 팩토리오 플레이 기능은 그냥 재미 요소가 아니에요. 사실 이건 요즘 AI 업계의 최대 화두인 '에이전트'와 맞닿아 있거든요. 에이전트라는 건, 단순히 질문에 답만 하는 게 아니라 스스로 목표를 세우고 도구를 사용해서 행동하는 AI를 말해요. 게임 속에서 나무를 캐고, 집을 짓고, 공장을 설계하려면 AI가 현재 상황을 인식하고, 계획을 세우고, 행동하고, 결과를 보고 다시 계획을 고치는 루프를 돌아야 해요. 이게 바로 에이전트의 기본 구조인데요. AIRI는 이걸 '캐릭터'라는 친근한 껍데기 안에서 실험하고 있는 셈이죠.

기억력을 담당하는 생태계

한 번 대화하고 다 잊어버리는 AI는 '친구'가 될 수 없겠죠. 그래서 AIRI 팀은 @proj-airi라는 별도 조직에서 RAG와 메모리 관련 서브 프로젝트들을 운영하고 있어요. RAG라는 건, 쉽게 말해 AI가 답하기 전에 자기만의 노트(데이터베이스)를 먼저 뒤져보고 관련 기억을 찾아 참고하는 기술이에요. '지난주에 네가 이직 고민한다고 했잖아'라고 말할 수 있는 AI를 만들려면 필수인 기술이죠.

업계 맥락: 비슷한 프로젝트들과 뭐가 다를까

이 분야에 AIRI만 있는 건 아니에요. 각각의 포지션을 비유로 정리해볼게요.

Character.AI / Replika: 잘 꾸며진 카페 같아요. 편하게 가서 즐기면 되지만, 카페 사장님(회사)이 메뉴를 바꾸거나 문을 닫으면 어쩔 수 없어요. 실제로 정책 변경으로 캐릭터의 말투가 바뀌어 사용자들이 상실감을 호소한 사례가 여러 번 있었어요.
SillyTavern: 텍스트 채팅에 특화된 셀프호스팅 프론트엔드예요. 자유도는 높지만 기본적으로 '채팅창'이라는 형태를 벗어나지 않아요. AIRI는 목소리와 몸(아바타), 행동(게임 플레이)까지 목표로 한다는 점이 달라요.
Open-LLM-VTuber 같은 유사 오픈소스: 방향은 비슷하지만, AIRI는 웹·데스크톱·게임 엔진까지 아우르는 플랫폼 폭과 게임 에이전트까지 포함한 범위 면에서 가장 야심 찬 축에 속해요.
Neuro-sama: 목표점 그 자체지만 완전 비공개예요. Vedal 개인의 작품이라 우리가 배우거나 가져다 쓸 수 없거든요. AIRI는 그 산을 오픈소스라는 방식으로 다 같이 오르자는 제안인 거죠.

한 가지 씁쓸한 디테일도 있어요. 저장소에 '우리는 공식 암호화폐를 발행한 적이 없다'는 경고문이 붙어 있는데요. 유명 오픈소스 프로젝트의 이름을 도용한 코인 사기가 그만큼 흔하다는 방증이라, 요즘 오픈소스 생태계의 그늘을 보여주는 대목이에요.

한국 개발자에게 주는 시사점

첫째, 일단 돌려보기가 쉬워요. macOS라면 brew install --cask airi, Windows라면 winget install MoeruAI.AIRI 한 줄이면 설치돼요. 셀프호스팅 프로젝트치고는 진입 장벽을 많이 낮춰놨어요.

둘째, 실시간 멀티모달 파이프라인의 살아있는 교과서예요. STT, LLM, TTS, 아바타 렌더링을 실시간으로 엮는 코드는 문서만 봐서는 배우기 어려운 영역이거든요. 음성 인터페이스나 AI 에이전트 쪽으로 커리어를 넓히고 싶다면 이 저장소의 구조를 따라 읽는 것만으로도 공부가 돼요. Vue + TypeScript + Rust 조합은 요즘 데스크톱 AI 앱의 대표적인 스택이기도 하고요.

셋째, 한국어 실험의 좋은 놀이터예요. README에 이미 한국어 문서가 있을 만큼 다국어를 신경 쓰는 프로젝트인데요. 한국어 TTS 모델이나 한국어에 강한 LLM을 붙여서 '한국어로 자연스럽게 수다 떠는 캐릭터'를 만드는 건 아직 블루오션에 가까워요. 버튜버 산업이 큰 한국에서는 방송용 AI 캐릭터, 전시장 안내 캐릭터, 팬 커뮤니티용 마스코트 같은 실무 시나리오도 충분히 그려볼 수 있고요.

다만 고려할 점도 있어요. 로컬에서 LLM까지 전부 돌리려면 GPU 메모리가 넉넉해야 하고(클라우드 API를 붙이는 절충안도 가능해요), 빠르게 발전 중인 프로젝트라 버전 간 변화가 클 수 있어요. 학습 로드맵을 짠다면 ① 웹 데모로 감 잡기 → ② Ollama 같은 로컬 LLM 연결해보기 → ③ 관심 있는 영역(음성·메모리·게임 에이전트) 하나를 골라 코드 읽기, 이 순서를 추천해요.

마무리: '가상 존재'를 소유한다는 것

AIRI가 던지는 질문은 결국 이거예요. AI 캐릭터가 우리 일상의 존재가 된다면, 그 존재는 누구의 것이어야 할까? 편리한 클라우드 서비스냐, 내 손안의 소유권이냐. 메모 앱에서 로컬 퍼스트 흐름이 커졌듯이, AI 컴패니언 영역에서도 '내가 직접 소유하고 키우는' 진영이 만만치 않게 성장할 거라고 봐요. 여러분은 어떠세요? AI 캐릭터와 매일 대화하는 미래가 온다면, 회사가 운영하는 캐릭터를 쓰실 건가요, 아니면 직접 키우는 쪽을 택하실 건가요? 댓글로 생각을 들려주세요.

🔗 출처: GitHub

이 글도 읽어보세요