무슨 일이 있었나요
나리랩스(Nari Labs)라는 이름, 들어보셨나요? 2025년 봄에 'Dia'라는 오픈소스 음성 합성 모델을 공개했던 한국 스타트업이에요. 당시 두 명이 시작한 팀이 웃음소리나 기침 같은 비언어적 표현까지 자연스럽게 만들어내는 대화형 TTS를 내놓아서, 전 세계 개발자들 사이에서 '이걸 이 인원으로?'라는 반응이 나왔거든요.
그 나리랩스가 이번에 알리바바의 오픈 모델인 Qwen3-TTS와 Qwen3-ASR을 기반으로 한 음성 서비스를 내놓았는데요, 음성 AI 평가 플랫폼인 코벌(Coval)의 벤치마크에서 정확도, 지연 시간, 비용 세 가지 축 모두에서 선두에 올랐다고 발표했어요.
먼저 용어부터 정리해볼게요
TTS는 Text-to-Speech, 그러니까 글자를 넣으면 사람 목소리로 읽어주는 기술이에요. ASR은 Automatic Speech Recognition, 반대로 사람 말소리를 글자로 바꿔주는 기술이고요. 흔히 STT(Speech-to-Text)라고도 불러요. 이 둘을 합치면 '듣고, 이해하고, 말하는' 음성 AI 에이전트의 귀와 입이 완성되는 거예요. 가운데 '이해하는' 부분은 LLM이 맡고요.
Qwen3는 알리바바가 공개한 오픈 웨이트 모델 시리즈예요. 오픈 웨이트라는 건 모델의 학습된 가중치 파일을 누구나 내려받아 자기 서버에서 돌릴 수 있다는 뜻이에요. 2026년 초에 Qwen3-TTS와 Qwen3-ASR이 공개됐는데, 한국어를 포함해 여러 언어를 지원해요. 나리랩스는 이 모델을 그대로 가져다 쓴 게 아니라, 자체 인프라 위에서 최적화하고 서빙 파이프라인을 다듬어서 API 형태로 제공하는 것으로 보여요.
왜 '정확도·지연·비용' 세 가지가 동시에 중요할까요
음성 AI 에이전트를 만들어보신 분은 아실 텐데요, 이 세 가지는 서로 당기는 관계예요. 정확도를 올리려고 큰 모델을 쓰면 느려지고 비싸져요. 빠르게 하려고 모델을 줄이면 인식이 틀리고요.
정확도는 ASR에서는 보통 WER(Word Error Rate, 단어 오류율)로 재요. 100단어 중 몇 단어를 틀렸는지 보는 거예요. 5%면 100단어 중 5개를 잘못 들었다는 뜻이고요. TTS에서는 만들어진 음성을 다시 ASR로 돌려서 원문과 얼마나 일치하는지 보거나, 사람이 직접 자연스러움을 평가하기도 해요.
지연 시간은 음성 에이전트에서 정말 치명적이에요. 사람끼리 대화할 때 상대가 말을 끝내고 대답이 나오기까지 보통 0.2~0.5초 정도 걸리거든요. 그런데 ASR이 0.5초, LLM이 1초, TTS가 0.5초 걸리면 합쳐서 2초예요. 전화 상담 중에 2초 침묵이 흐르면 '끊겼나?' 싶어지죠. 그래서 TTS에서는 첫 음성 조각이 나오기까지의 시간(TTFB, Time To First Byte)이 핵심 지표예요. 전체 문장을 다 만든 다음 내보내는 게 아니라, 앞부분부터 스트리밍으로 흘려보내야 해요.
비용은 규모가 커지면 바로 체감돼요. 콜센터 자동화처럼 하루에 수만 통을 처리하면, 분당 요금이 몇 센트만 달라져도 월 비용이 수천만 원 차이 나거든요.
코벌은 이런 음성 에이전트를 시뮬레이션 대화로 반복 테스트해서 평가하는 플랫폼이에요. 실제 사용 시나리오에 가까운 환경에서 재기 때문에, 논문에 나오는 벤치마크보다 실무에 가까운 결과가 나온다고 볼 수 있어요.
업계 지형에서 어디쯤 있을까요
음성 AI 시장은 지금 정말 붐비는 동네예요. TTS 쪽에서는 일레븐랩스(ElevenLabs)가 품질과 브랜드에서 앞서 있고, 카르테시아(Cartesia)가 초저지연을 무기로 따라붙고 있어요. ASR 쪽에서는 딥그램(Deepgram)과 어셈블리AI(AssemblyAI)가 오래 자리를 지켜왔고, OpenAI는 아예 듣고 말하는 걸 하나의 모델로 처리하는 실시간 API를 밀고 있죠.
이 구도에서 나리랩스의 접근은 '오픈 모델을 잘 서빙하는 것'이에요. 이게 왜 의미가 있냐면, 오픈 모델은 누구나 쓸 수 있으니 차별점이 없을 것 같지만, 실제로 낮은 지연과 낮은 비용으로 안정적으로 돌리는 건 완전히 다른 기술이거든요. GPU 배치 처리, 스트리밍 파이프라인, 양자화 같은 최적화가 다 여기서 갈려요. 딥시크 이후 '오픈 모델 + 인프라 최적화'가 폐쇄형 모델과 맞서는 유효한 전략이 됐다는 걸, 음성 분야에서도 보여주는 사례라고 할 수 있어요.
한국 개발자에게 주는 시사점
첫째, 한국어 음성 AI 선택지가 넓어졌어요. 그동안 한국어 TTS는 네이버 클로바, 구글, 타입캐스트, 수퍼톤 정도가 주력이었고, 영어권 신생 서비스는 한국어 품질이 들쭉날쭉했거든요. Qwen3 계열은 한국어 학습 데이터가 상당해서, 한국 팀이 최적화한 서비스라면 한국어 품질을 기대해볼 만해요. 직접 샘플을 돌려보고 판단하시길 권해요.
둘째, 음성 에이전트를 만든다면 파이프라인 전체의 지연을 측정하는 습관이 필요해요. ASR, LLM, TTS 각각의 TTFB를 따로 재고, 어디가 병목인지 찾는 것부터 시작하세요. 이번 발표는 그중 두 구간을 확 줄일 수 있는 선택지가 생겼다는 얘기예요.
셋째, 오픈 웨이트 모델을 직접 서빙할지, 이런 API를 쓸지 판단하는 기준도 생각해볼 만해요. 트래픽이 적으면 API가 싸고, 트래픽이 크고 데이터를 외부로 못 보내는 환경이면 직접 서빙이 답이에요. Qwen3-TTS/ASR은 오픈 웨이트니까 둘 다 가능하다는 게 장점이고요.
정리하면
한국 팀이 오픈 모델을 최적화해서 글로벌 음성 AI 벤치마크 최상위권에 이름을 올렸다는 건, 모델을 만드는 것만큼이나 '잘 돌리는 것'이 경쟁력이 되는 시대라는 걸 보여줘요.
여러분은 음성 에이전트를 만들 때 정확도, 지연, 비용 중 뭘 가장 먼저 포기하시나요? 그리고 한국어 TTS/ASR, 요즘 실제로 써보신 분들은 어떤 서비스가 가장 자연스럽던가요?
🔗 출처: Hacker News