실시간으로 함께 게임하는 AI 동료 '바르코스', 대형 모델 없이 어떻게 만들었나

게임 속 NPC와 대화하는 AI는 이미 여러 프레임워크로 구현돼 있다. 이들은 캐릭터 몰입과 롤플레잉에는 강하지만 두 가지 고질적 약점을 안고 있다. 하나는 세계에 실제로 개입하는 '행동 능력'이 빈약하다는 점이고, 다른 하나는 지연 시간이다. 잘 떠들지만 명령을 신뢰성 있게 수행하지 못하고, 복잡한 지시에는 특히 취약하다. 인기 있는 AI NPC 데모들이 플레이어의 발화와 AI의 응답 사이를 화면 전환으로 가리며 지연을 감추는 것도 이 때문이다. 개발자 판텔리스가 스카이림을 무대로 만든 AI 동료 '바르코스(Varkos)'는 바로 이 두 문제를 정면으로 겨냥한 프로젝트다.

바르코스의 차별점은 단발성 응답이 아니라 지속되는 계획을 다룬다는 데 있다. 예컨대 '여기서 기다리다가 내가 하늘로 쏘아 올린 화살을 신호로 보면 이 물약을 집어 내게 가져와'라는 조건부 지시를 받으면, 바르코스는 즉시 움직이는 대신 미래의 트리거를 등록해 두고 화살이 떨어지는 순간을 기다린 뒤 계획을 이어간다. 숨바꼭질을 하자고 하면 이는 단일 API 호출이 아니라 이동, 대기, 감시, 완료 조건을 포함한 지속 목표가 된다. '의식용 검을 본 적 있느냐'는 질문에는 게임 세계의 실제 상태를 검색해 답하고, 엉뚱한 검을 가져왔다가 아니라고 하면 계속 찾아보겠다고 제안한다. 사전 스크립트는 없으며, 세계 상태가 바뀌면 계획을 수리하거나 중단한다.

대형 모델을 포기한 이유

흥미로운 점은 이 시스템이 실시간 경로에서 대형 클라우드 LLM에 의존하지 않는다는 것이다. 개발자는 스스로를 '비터 레슨(bitter lesson)에 물든' 사람이라 부르며 충분히 빠르고 똑똑한 LLM 여럿이 감각 처리와 사고, 행동을 모두 제어하는 방식이 이상적임을 인정한다. 실제로 초기 실험에서 그 접근은 놀랍도록 잘 작동했다고 한다. 그러나 오늘날 그 방식은 너무 느리고 비싸다. 세레브라스 같은 초고속 추론 제공업체는 지연 면에서 훌륭하지만, 현재 제공되는 모델들은 대화의 맥락을 오래 유지하는 데 약하다는 한계가 있다. 결국 실시간 게임 플레이에는 원격 대형 모델이 큰 도움이 되지 않았다는 것이 그의 결론이다.

대안은 오래된 기술의 재발견이다. 1970년대부터 음성 처리가 가능한 지능형 시스템이 있었고 2000년대 초 스마터차일드 같은 챗봇도 존재했다는 점을 상기시키며, 개발자는 전통적 자연어 처리(NLP)와 행동 그래프라는 '잊힌 기술'에 주목한다. 레드 데드 리뎀션이나 드워프 포트리스처럼 10년 된 하드웨어에서도 깊이 있는 행동을 구현하는 게임 AI가 그 근거다.

지연을 줄이는 파이프라인

실제 구성은 이렇다. 게임은 윈도우에서 돌아가고, 오디오 처리와 두뇌는 M4 맥북에서 실행된다. 음성 인식은 커스텀 커널로 최적화한 Qwen3-ASR 1.7b를 쓰되, 기본적으로 스트리밍을 지원하지 않는 이 모델을 40~80ms 단위로 오디오를 이어 붙여 처리하는 별도 하네스를 얹었다. 턴파이프와 실레로 같은 VAD 계열 기법으로 발화 종료 시점을 판단하고, 어휘 분석으로 플레이어가 말을 마쳤는지 아니면 문장 중간에 생각 중인지를 가려낸다. 마이크가 항상 켜진 상태에서 끼어들기와 겹쳐 말하기를 막기 위한 장치다. 음성 합성은 직접 오픈소스로 공개한 PocketTTS-Raven을 빠른 엔진으로 쓰고, 감정 표현이 더 필요하면 최적화한 Qwen3-TTS를 병행한다. 분노, 슬픔, 중립, 혼란 등 감정별 목소리를 미리 메모리에 올려두고 상황에 맞게 꺼내 쓰는 방식이다.

핵심이자 최대 차별점은 개발자가 ALE(Action Latent Encoder)라 부르는 시스템이다. ALE는 임베딩과 소형 분류기, 명시적 규칙, 전통 머신러닝을 결합한 하이브리드로 부정, 명령, 연속, 대명사, 순차 구조를 감지한다. '검을 집어 내게 가져와'는 연결된 두 개의 행동 슬롯으로 분해된다. '집어라', '잡아라', '가져와라' 등 표현이 달라도 의미를 파악하며, 맥락이 부족하면 이전 대화에서 끌어오고 그래도 안 되면 '무슨 뜻이냐'고 되묻는 방향으로 넘어간다. 다른 하이브리드 분류기와 달리 ALE는 세계 상태 JSON까지 입력으로 받아 플레이어 요청과 실제 게임 정보를 대조한다. M4 맥북에서 2~20ms로 동작하며, 이후 로컬 파인튜닝 LLM이 페르소나와 감정, 최근 이력, 선택된 행동을 융합해 응답을 만든다. 프리필 전략을 더하면 플레이어가 말을 멈춘 뒤 500ms 안에 답하기 시작하는 경우도 있다.

실무자가 눈여겨볼 지점과 한계

바르코스는 게임마다 다른 ALE 버전이 필요해 완전한 플러그앤플레이는 아니다. 다만 ALE는 몇 분이면 학습이 끝나기 때문에, 이론적으로 더 강력한 오프라인 LLM이 하룻밤 사이 세션을 복기해 재학습하는 자기 개선 구조가 가능하다. 개발자의 제한적 내부 평가에서 ALE가 올바른 행동 선택과 계획 분해에서 대형 LLM에 근접했다고 하지만, 그는 이를 아직 진지한 벤치마크로 여기지 않는다고 분명히 선을 긋는다. 로컬 모델은 여러 턴에 걸친 대화 맥락 유지에 약해 긴 대화에서는 개가 혼란스러워 보일 수 있다는 점도 인정하며, 하드웨어·소프트웨어 발전으로 1~2년 안에 개선될 것으로 내다본다.

느린 성격 진화만은 여전히 대형 클라우드 LLM에 의존한다. 이 처리는 실시간 경로 밖에서 이뤄지며, 함께 여행하며 쌓인 중요한 상호작용이 성격 변화의 근거가 된다. 데모의 바르코스는 개의 몸을 감옥으로 여기는 오만하고 냉소적인 악마로 시작하지만, 경험을 거치며 길들여지고 플레이어에게 애착을 느끼도록 설계됐다. 초기 성격 특성만 사람이 작성하고 이후 변화는 버전 관리되며 되돌릴 수 있다. 게임이 꺼지면 아무것도 감지하지 못하는 '보이드 모드'로 들어가 여러 게임 사이를 잇는 상태로 기능한다. 개발자는 LLM이 손으로 빚은 캐릭터와 서사를 대체하리라 기대하지 않으며 의도된 설계가 여전히 왕이라고 강조한다. 다만 우리에게 말만 거는 것이 아니라 실제로 함께 플레이하는 AI가 새로운 매체가 될 수 있다는 가능성, 그리고 그 지연과 유용성이 만들어내는 재미에 그는 주목한다. Qwen3-ASR 하네스는 곧 오픈소스로 공개될 예정이다.