음성 인식과 음성 합성 기술은 지난 몇 년 사이 크게 발전했지만, 사람의 말을 정확히 듣고 맥락을 추론한 뒤 실제 업무를 여러 단계에 걸쳐 처리하는 '음성 에이전트'를 구축하는 일은 여전히 까다로운 과제로 남아 있다. 미스트랄(Mistral)은 이 문제를 네 가지 요구사항으로 정리한다. 언어와 억양, 화자, 끼어들기에 관계없이 정확히 듣고, 사용자의 의도를 깊이 추론하며, 감정과 표현이 담긴 자연스러운 발화를 만들어내고, 연결된 시스템을 통해 다단계 동작을 실행하는 것이다. 핵심은 이 네 가지가 실시간으로 '동시에' 안정적으로 작동해야 한다는 점이다. 미스트랄이 새로 내놓은 Voxtral 3는 바로 이 네 축을 하나의 스트리밍 파이프라인으로 묶은 음성 모델 제품군과 에이전트 SDK다.
전사와 화자 분리, 실시간 응답까지
음성-텍스트(STT) 모델인 Voxtral Small Transcribe 3는 50개 언어를 지원한다. 여기에는 EU 공식 언어 24개와 상대적으로 데이터가 부족한 아시아·인도계 언어가 다수 포함되며, 한국어도 지원 대상에 들어간다. 이 모델은 누가 언제 말했는지 구분하는 화자 분리(diarization), 핵심어를 미리 제공해 인식 정확도를 높이는 컨텍스트 바이어싱(context-biasing), 그리고 사용자가 말을 끝냈는지 음향·의미 정보를 함께 보고 판단하는 발화 종료 감지(end-of-turn)를 갖췄다. 미스트랄은 영어·프랑스어·스페인어를 비롯한 다국어 전사와 화자 분리에서 Whisper, Scribe v2, Gemini 3.5 Transcribe를 앞선다고 밝혔다. 4B 파라미터 규모의 Mini 변형은 분당 0.0035달러로 비용을 낮췄고, 별도의 실시간 모델인 Voxtral Realtime Transcribe 3는 35개 이상 언어에서 500밀리초 미만의 지연으로 전사를 수행한다.
컨텍스트 바이어싱은 실무적으로 특히 눈여겨볼 기능이다. 전문 용어나 사람 이름 같은 도메인 특화 어휘를 자유 형식 텍스트로 넣어주면 해당 단어의 재현율(recall)이 올라간다. 모델을 따로 파인튜닝하지 않고도 업종별 용어가 많은 현장에 바로 투입할 수 있다는 의미로, 콜센터나 의료·금융처럼 고유 명칭이 중요한 영역에서 운영 부담을 줄여준다.
감정이 담긴 음성과 목소리 복제
텍스트-음성(TTS) 쪽에서는 Voxtral Mini TTS 3.0이 배치와 실시간 양쪽으로 제공되며, 35개 이상 언어와 50개 이상 방언을 지원한다. 미스트랄은 이 모델이 별도의 지시나 음성 프롬프트 없이도 문장의 의미 맥락을 해석해 감정과 발화 스타일을 결정한다고 설명한다. 감정·속도·강조 같은 변수를 명시적으로 지정할 수도 있다. 가격은 100만 자당 13달러로, OpenAI TTS-1, Deepgram, ElevenLabs Flash, Gemini Flash 등 경쟁 모델보다 저렴하다고 제시됐다. 전문 용도를 위한 Pro Voice 기능은 30분 분량의 음성만으로 화자 특유의 성격과 감정 범위, 말투를 언어를 넘나들며 재현한다. 음성 프리셋은 한국어를 포함해 18개 언어로 먼저 제공된다.
이 모델들을 하나로 묶는 것이 LiveKit 기반의 음성 에이전트 SDK다. 실시간 전사 모델이 듣고 발화 종료를 감지하면, Mistral Small 같은 범용 모델이 추론과 도구 호출을 담당하고, 음성 모델이 그때까지의 대화 톤에 맞춰 답한다. 각 단계가 서로를 기다리지 않는 스트리밍 구조라, 통화나 웹 대화 도중에 정보를 조회하고 업무 시스템과 상호작용하며 작업을 완료하는 식의 흐름이 가능하다.
주권형 배포와 남는 과제
미스트랄의 다른 모델과 마찬가지로 Voxtral 3도 데이터 주권을 전제로 설계됐다. EU에서 호스팅되는 API를 쓰거나 자체 인프라에 직접 배포할 수 있어, 음성이 어디서 처리되고 데이터가 어떻게 다뤄지며 대화를 보관할지 여부를 조직이 통제할 수 있다. 민감한 대화를 외부로 내보내기 어려운 공공·규제 산업이나, 온프레미스 운영이 전제인 기업에는 선택지로서 의미가 크다. 다만 EU 호스팅이라는 지리적 전제는 국내 데이터 현지화 요건과 별개이므로, 한국 기업이라면 자체 배포 경로를 중심으로 검토하는 편이 현실적이다.
성능 수치를 해석할 때는 전제도 함께 봐야 한다. 공개된 비교의 상당수는 미스트랄 자체 평가이며, 표현력·발음 정확도를 측정한 Voice Code Bench나 one_eval 등은 gemini 계열 모델을 심판으로 쓴 결과다. FLEURS 기준 전사 성능에서 한국어·일본어·중국어·태국어는 WER 대신 문자 오류율(CER)로 측정되는 등 언어별 척도도 다르다. 결국 한국어 실제 환경에서의 전사 정확도와 발화 자연스러움은 자사 데이터로 직접 검증해볼 사안이다. 그럼에도 전사·화자 분리·실시간 응답·감정 합성을 단일 파이프라인으로 통합하고, 파인튜닝 없이 도메인 용어를 주입할 수 있게 한 설계는 음성 에이전트를 실제 운영 단계로 끌어올리려는 팀에게 구체적인 평가 대상이 될 만하다.