[심층분석] 일레븐랩스 구독, 끊어도 될지도요 — 내 컴퓨터에서 통째로 도는 오픈소스 음성 스튜디오 Voicebox

목소리 하나 만드는 데 매달 구독료를 내야 하는 시대, 이제 좀 이상하지 않나요?

지난 2~3년 동안 음성 AI 시장은 사실상 두 개의 클라우드 서비스가 나눠 갖고 있었어요. 텍스트를 자연스러운 목소리로 바꿔주는 쪽(TTS, 음성 합성)은 ElevenLabs가, 말을 텍스트로 받아 적어주는 쪽(딕테이션)은 WisprFlow가 꽉 잡고 있었거든요. 문제는 이 둘 다 클라우드 서비스라는 점이에요. 내 목소리 샘플이 남의 서버로 올라가고, 쓰면 쓸수록 요금이 나가고, 서비스가 정책이나 가격을 바꾸면 그대로 따라야 하죠.

Voicebox는 이 구도에 정면으로 도전하는 오픈소스 프로젝트예요. 한 문장으로 요약하면 "ElevenLabs와 WisprFlow를 합쳐서 통째로 내 컴퓨터에서 돌리는 앱"이에요. 목소리 복제, 음성 합성, 받아쓰기, 그리고 AI 에이전트에게 목소리 입히기까지 — 음성 입출력의 전체 사이클을 로컬에서 처리해요. 모델도, 목소리 데이터도, 녹음 내용도 내 기기 밖으로 나가지 않는다는 게 핵심이고요.

무엇을 할 수 있는 앱인가요?

기능을 하나씩 뜯어볼게요.

1. 제로샷 보이스 클로닝

"제로샷"이라는 건, 쉽게 말해 별도의 학습(파인튜닝) 과정 없이 몇 초짜리 참조 음성만 들려주면 바로 그 목소리를 흉내 낸다는 뜻이에요. 예전에는 특정인의 목소리를 만들려면 몇 시간 분량의 녹음을 모아 모델을 따로 훈련시켜야 했는데, 요즘 모델들은 짧은 샘플에서 목소리의 특징(음색, 억양, 호흡)을 즉석에서 뽑아내요. 성대모사 잘하는 친구가 어떤 사람 말 몇 마디만 듣고 바로 따라 하는 것과 비슷하죠. 직접 클로닝하기 부담스러우면 Kokoro와 Qwen CustomVoice가 제공하는 50개 이상의 프리셋 목소리를 골라 쓸 수도 있어요.

2. 갈아 끼우는 7개의 TTS 엔진

Voicebox는 자체 모델 하나에 올인하지 않고 Qwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox Multilingual, Chatterbox Turbo, HumeAI TADA, Kokoro까지 7개의 오픈 TTS 엔진을 선택해서 쓸 수 있게 해놨어요. 이게 왜 중요하냐면, TTS 엔진마다 성격이 다르거든요. 어떤 건 감정 표현이 풍부하고, 어떤 건 가볍고 빨라서 저사양 기기에 맞고, 어떤 건 다국어에 강해요. 카메라 바디 하나에 상황별로 렌즈를 갈아 끼우는 느낌이라고 보면 돼요. 특히 Chatterbox Turbo는 텍스트에 [laugh], [sigh], [gasp] 같은 태그를 넣으면 실제로 웃거나 한숨 쉬는 소리를 만들어내는 '파라링구이스틱(비언어적 표현)' 기능을 지원하고, Qwen CustomVoice는 "더 천천히, 슬프게" 같은 자연어로 말투를 지시할 수 있어요.

3. 어디서나 되는 받아쓰기 + 로컬 LLM 다듬기

전역 단축키를 누르고 말하면, 지금 커서가 있는 아무 입력창에나 텍스트가 들어가요. 슬랙이든, IDE든, 메모장이든요. 여기에 번들된 로컬 LLM이 끼어드는데, 이게 뭐냐면 받아 적은 날것의 문장을 작은 언어 모델이 다듬어주는 거예요. "어... 그러니까 그 함수를 이제 리팩토링하고" 같은 말을 "함수를 리팩토링하고"로 정리해주는 식이죠. 프로필별로 말투 페르소나를 다르게 설정할 수도 있어서, 업무용 프로필은 격식체로, 개인 메모용은 편한 말투로 받아 적게 만들 수 있어요.

4. MCP로 AI 에이전트에 목소리 입히기

MCP(Model Context Protocol)는 AI 에이전트가 외부 도구와 대화하는 표준 규격이에요. 쉽게 말해 AI용 USB 포트 같은 거죠. Voicebox가 MCP 서버 역할을 하기 때문에, MCP를 지원하는 에이전트라면 "이 텍스트를 이 목소리로 읽어줘"라고 Voicebox를 호출할 수 있어요. 내가 만든 코딩 에이전트가 작업을 끝내면 내가 고른 목소리로 결과를 말해주는 그림이 몇 줄 설정으로 가능해지는 거예요.

5. 무제한 길이 생성

TTS 모델은 보통 한 번에 생성할 수 있는 길이에 제한이 있는데, Voicebox는 긴 글을 자동으로 잘게 나눠 생성한 뒤 이음새를 크로스페이드(앞 소리가 잦아들 때 뒷소리를 겹쳐 부드럽게 잇는 기법)로 붙여요. 덕분에 아티클 한 편, 책 한 챕터도 통째로 오디오로 만들 수 있어요. 피치 시프트, 리버브, 컴프레션 같은 후처리 이펙트도 내장돼 있고요.

기술 스택도 눈여겨볼 만해요. 데스크톱 앱은 Tauri(웹 기술로 가벼운 네이티브 앱을 만드는 프레임워크) 기반이고, 백엔드는 Python, 웹 UI와 Docker 배포도 지원해요. 저장소에 docker-compose.rocm.yml 파일이 따로 있는 걸 보면 NVIDIA뿐 아니라 AMD GPU(ROCm) 사용자까지 챙기고 있다는 것도 알 수 있죠.

ElevenLabs와 뭐가 다른가요?

솔직하게 비교해볼게요.

ElevenLabs의 강점은 여전히 최상급 품질과 '그냥 됨'이에요. 브라우저 열고 텍스트 넣으면 끝이죠. GPU도, 설치도, 트러블슈팅도 필요 없어요. 대신 사용량 기반 과금이라 콘텐츠를 많이 만들수록 비용이 가파르게 올라가고, 목소리 데이터가 클라우드에 올라간다는 부담이 있어요.

Voicebox의 강점은 비용 구조와 프라이버시예요. 전기세 말고는 한계 비용이 사실상 0원이고, 민감한 음성 데이터가 기기 밖으로 안 나가요. 회사 보안 정책상 외부 클라우드에 음성을 못 올리는 환경이라면 거의 유일한 선택지에 가깝죠. 대신 트레이드오프도 분명해요. 쓸 만한 생성 속도를 내려면 GPU가 있어야 하고, 오픈 모델의 품질은 엔진에 따라 편차가 있고, 설치와 업데이트 관리도 내 몫이에요.

비유하자면 ElevenLabs는 잘 차려진 레스토랑이고, Voicebox는 좋은 재료를 갖춘 내 주방이에요. 레스토랑은 편하지만 갈 때마다 돈이 들고, 주방은 처음에 장비를 갖춰야 하지만 그다음부터는 마음껏 요리할 수 있죠. 그리고 하나 더 — 입력(받아쓰기)과 출력(합성)을 한 앱에서 잇고 그 사이에 로컬 LLM을 끼운 구성은, 각자 반쪽씩만 하고 있는 클라우드 진영에는 딱히 대응물이 없는 부분이에요.

한국 개발자라면 이렇게 활용해보세요

• 콘텐츠 제작: 유튜브 해설, 사내 교육 영상, 팟캐스트 내레이션에 내 목소리를 클로닝해서 쓸 수 있어요. 23개 언어를 지원하니 같은 대본으로 다국어 버전을 뽑는 실험도 가능하고요. 다만 한국어 합성 품질은 엔진별로 편차가 있으니, 다국어에 강한 Qwen 계열 엔진부터 직접 들어보고 판단하는 걸 추천해요.
• 개발 워크플로우: 받아쓰기 + 로컬 LLM 다듬기 조합은 커밋 메시지, 이슈 작성, 문서 초안에 의외로 잘 맞아요. 타이핑보다 말이 빠른 사람이라면 하루 생산성이 꽤 달라지거든요.
• 에이전트 프로토타이핑: MCP 연동 덕분에 사내 챗봇이나 자동화 에이전트에 음성 출력을 붙이는 프로토타입을 API 호출 몇 줄로 만들 수 있어요. 음성 인터페이스 아이디어를 검증하는 비용이 확 내려가는 거죠.

한 가지는 꼭 짚고 갈게요. 저장소에 RESPONSIBLE_USE.md라는 문서가 따로 있을 정도로, 보이스 클로닝은 윤리 이슈가 큰 기술이에요. 국내에서도 가족 목소리를 흉내 낸 보이스피싱이 실제 피해로 이어지고 있죠. 타인의 목소리는 반드시 본인 동의를 받고 쓰고, 서비스에 합성 음성을 넣을 때는 그 사실을 밝히는 게 기본이에요. 기술이 열리는 속도만큼, 쓰는 쪽의 기준도 단단해야 해요.

마무리하며

이미지 생성이 Stable Diffusion으로, LLM이 Llama와 Qwen으로 로컬에 내려왔던 흐름이 이제 음성에서 똑같이 반복되고 있어요. Voicebox가 의미 있는 건 그 흐름을 흩어진 '엔진 모음'이 아니라 클로닝부터 받아쓰기, 에이전트 연동까지 갖춘 '완성된 스튜디오'로 묶어냈다는 점이에요. 이런 오픈소스가 버티고 있으면 클라우드 음성 API의 가격 정책도 그 존재를 의식할 수밖에 없을 거고요.

여러분은 어떠세요? 음성 AI를 클라우드 API로 쓰고 계신가요, 아니면 로컬로 옮겨올 계획이 있나요? 내 목소리를 클로닝해서 써보고 싶은 곳이 있다면 어떤 용도일지, 댓글로 이야기 나눠봐요.