M3 Pro 맥북 하나로 실시간 AI 대화를 — Gemma E2B 기반 오픈소스 'Parlor'

노트북 한 대에서 실시간 음성·영상 AI가 돌아간다고?

요즘 AI 서비스 대부분은 클라우드 API를 호출하는 방식이잖아요. OpenAI든 Google이든 서버에 요청을 보내고 응답을 받는 구조인데요. 그런데 이걸 내 맥북에서 로컬로, 그것도 실시간 오디오와 비디오 입력을 받아서 음성으로 대답하는 걸 구현한 오픈소스 프로젝트가 나왔어요. 이름은 'Parlor'이고, Google의 Gemma E2B(Edge-to-Brain) 모델을 활용해요.

Parlor가 하는 일

Parlor는 한마디로 로컬에서 돌아가는 실시간 멀티모달 AI 어시스턴트예요. 카메라로 영상을 보여주면서 마이크로 말을 걸면, AI가 그걸 이해하고 음성으로 대답하는 구조거든요. 이게 뭐가 특별하냐면, 보통 이런 멀티모달(여러 종류의 입력을 동시에 처리하는) 기능은 GPT-4o 같은 초대형 클라우드 모델에서나 가능했단 말이에요.

기술적으로 보면, Gemma E2B라는 모델이 핵심이에요. E2B는 'Edge-to-Brain'의 약자인데, 쉽게 말하면 엣지 디바이스(내 컴퓨터 같은 로컬 기기)에서 돌아갈 수 있도록 최적화된 모델이라는 뜻이에요. Google이 Gemma 시리즈를 계속 경량화해오고 있는데, E2B 버전은 특히 실시간 스트리밍 입력에 맞게 설계된 거예요. M3 Pro 칩의 Neural Engine과 GPU를 잘 활용해서, 클라우드 없이도 실시간에 가까운 응답 속도를 낸다고 해요.

프로젝트 구조를 보면 Python 기반이고, 오디오 입출력 처리, 비디오 캡처, 그리고 Gemma 모델 추론을 파이프라인으로 연결해놨어요. 입력이 들어오면 실시간으로 처리해서 바로 음성으로 출력하는 스트리밍 방식이라, 응답을 기다리는 느낌이 적다는 게 장점이에요.

로컬 AI의 흐름 속에서

지금 AI 업계에서 가장 뜨거운 주제 중 하나가 바로 "온디바이스 AI"예요. Apple도 Apple Intelligence를 통해 로컬 처리를 강조하고 있고, Qualcomm과 Intel도 NPU(신경망 처리 장치)를 칩에 내장하면서 로컬 AI 실행 환경을 밀고 있거든요.

비슷한 프로젝트로는 Whisper.cpp(OpenAI Whisper의 C++ 로컬 구현)가 음성 인식 쪽에서 이미 많이 쓰이고 있고, llama.cpp는 LLM을 로컬에서 돌리는 데 사실상 표준이 됐어요. 하지만 이런 프로젝트들은 대부분 텍스트나 오디오 하나의 모달리티에 집중했거든요. Parlor는 오디오와 비디오를 동시에 실시간으로 처리한다는 점에서 한 발 더 나간 거예요.

물론 아직은 M3 Pro 이상의 Apple Silicon이 필요하다는 하드웨어 제약이 있어요. 그리고 GPT-4o 같은 클라우드 모델 대비 응답 품질은 아직 차이가 있을 수밖에 없고요. 하지만 프라이버시가 중요한 환경이나, 네트워크가 불안정한 상황에서는 로컬 모델이 확실한 강점을 가져요.

한국 개발자에게 주는 시사점

실무에서 바로 프로덕션에 넣기보다는, 프로토타이핑이나 데모 용도로 써볼 만해요. 예를 들어 스마트홈 제어, 접근성 도구, 교육용 AI 튜터 같은 프로젝트를 구상하고 있다면 Parlor의 아키텍처를 참고해볼 수 있어요. 클라우드 API 비용 없이 멀티모달 AI를 실험해볼 수 있다는 게 가장 큰 매력이거든요.

또 하나, M3 Pro 맥북이 있는 분이라면 그냥 clone 받아서 돌려보는 것 자체가 좋은 학습이 돼요. 실시간 오디오/비디오 파이프라인이 어떻게 AI 모델과 연결되는지 코드 레벨에서 볼 수 있으니까요. 멀티모달 AI에 관심 있는 분들에게는 아주 좋은 레퍼런스 프로젝트예요.