‘표준어’만 말하던 음성 AI에 사투리가 생겼어요
스마트 스피커, 내비게이션, 오디오북 앱에서 나오는 AI 목소리를 떠올려 보세요. 거의 다 뉴스 아나운서 같은 ‘표준’ 말투죠. 영어도 마찬가지예요. 대부분의 TTS 모델은 방송용 미국 영어(General American)나 영국 표준 발음으로 말하거든요.
Hugging Face에 공개된 오픈소스 TTS 모델 Hurston-1은 여기서 방향을 틀었어요. 미국 남부 영어(Southern American English)와 아프리카계 미국인 영어(African American English, 흔히 AAVE라고도 해요)를 자연스럽게 말하는 게 목표예요. 이름을 보면 흑인 남부 공동체의 말투를 그대로 살려 소설을 쓴 작가 조라 닐 허스턴(Zora Neale Hurston)이 떠오르죠.
“억양 하나 추가한 거 아냐?”라고 생각할 수도 있는데요, 생각보다 훨씬 까다로운 문제예요.
TTS는 어떻게 말하고, 방언은 왜 어려울까
TTS(Text-to-Speech)는 글자를 넣으면 목소리로 읽어주는 기술이에요. 요즘 모델은 대략 이렇게 동작해요. 먼저 텍스트를 발음 단위(음소)나 토큰으로 바꾸고, 그걸 바탕으로 멜 스펙트로그램(소리를 시간과 주파수로 그린 그림) 같은 소리의 특징을 만들어요. 마지막에 보코더라는 부품이 그걸 실제 소리 파형으로 바꿔주고요.
방언이 어려운 건 이 모든 단계에 ‘표준’이 깊이 박혀 있기 때문이에요.
첫째, 발음 규칙이 달라요. 미국 남부 영어에서는 ‘ride’ 같은 단어의 이중모음이 ‘라-드’처럼 길게 펴진 단모음이 되는 경우가 많고, pin과 pen이 같은 소리로 나기도 해요. 표준 영어 기준의 G2P(글자를 발음 기호로 바꿔주는 변환기)를 그대로 쓰면 시작부터 어긋나요.
둘째, 문법이 달라요. 아프리카계 미국인 영어는 ‘틀린 영어’가 아니라 체계적인 규칙을 가진 언어 변종이에요. 예를 들어 “She be working”은 “그녀는 늘 일한다”는 습관적 의미를 나타내는 정상적인 표현이에요. 그런데 TTS 앞단의 텍스트 정규화(숫자나 약어를 읽기 좋게 다듬는 과정)가 이런 문장을 표준 영어로 ‘고쳐버리면’ 말투가 다 무너져요.
셋째, 운율이 달라요. 리듬, 억양의 높낮이, 말의 속도 같은 것들이요. 발음이 맞아도 운율이 어색하면 듣는 사람은 바로 “흉내 내는구나” 하고 알아채요.
넷째, 데이터가 부족해요. 공개된 TTS 학습 데이터 상당수는 LibriTTS처럼 오디오북 낭독에서 나왔어요. 또박또박 읽는 표준 발음 위주라 모델이 방언을 배울 기회가 별로 없어요.
왜 중요할까: 음성 AI의 편향 문제
2020년 PNAS(미국 국립과학원회보)에 실린 스탠퍼드 연구가 있어요. 아마존, 애플, 구글, IBM, 마이크로소프트의 음성인식을 비교했더니 단어 오류율이 흑인 화자는 평균 약 0.35, 백인 화자는 약 0.19로 거의 두 배 차이였어요. 음성 기술이 특정 말투를 ‘기본값’으로 삼으면 그 밖의 사람들은 기술에서 밀려난다는 걸 보여준 결과예요.
물론 방언 TTS는 양날의 검이에요. 잘못 쓰면 특정 집단의 말투를 희화화하거나 사칭하는 도구가 될 수 있거든요. 그래서 학습 데이터를 어떻게 모았는지, 목소리 주인의 동의를 받았는지, 어떤 용도를 금지하는지가 성능만큼 중요해요. 써보실 분은 모델 카드의 라이선스와 사용 제한부터 꼭 확인하세요.
업계 맥락: ‘몇 개 언어’에서 ‘한 언어 안의 다양성’으로
ElevenLabs 같은 상용 서비스는 여러 억양의 목소리를 제공하고, 오픈소스 쪽에서도 Coqui XTTS, F5-TTS, Kokoro 같은 좋은 모델이 꾸준히 나왔어요. 다만 경쟁은 주로 “몇 개 언어를 지원하느냐”, “목소리를 얼마나 빨리 복제하느냐”를 두고 벌어졌죠. Hurston-1이 눈에 띄는 건 그 축을 한 언어 안의 다양성으로 옮겼다는 점이에요.
이런 틈새 모델을 작은 팀이나 개인도 만들 수 있게 됐다는 것도 의미가 있어요. 요즘은 공개된 베이스 모델을 잘 다듬은 소량의 데이터로 파인튜닝(이미 학습된 모델을 특정 목적에 맞게 추가 학습시키는 것)하는 방식이 흔해서, 빅테크가 신경 쓰지 않는 영역을 노려볼 수 있어요.
한국 개발자에게 주는 시사점
한국어도 경상도, 전라도, 충청도, 강원도, 제주어까지 방언이 정말 다양하잖아요. 특히 제주어는 2010년 유네스코가 소멸 위기 언어 중에서도 가장 심각한 단계로 분류했어요. 다행히 AI Hub에 지역별 한국어 방언 발화 데이터가 공개돼 있어서 시작할 재료는 있어요.
- 어르신 돌봄·복지 서비스: 익숙한 고향 말투는 친근감을 주고, 사투리를 알아듣는 음성인식은 실제 사용성과 바로 이어져요.
- 지역 관광·문화 콘텐츠: 지자체 안내 방송이나 관광 앱에 지역색을 입힐 수 있어요.
- 게임·오디오 드라마: 캐릭터마다 다른 말투를 주는 데 바로 쓸 수 있어요.
- 위기 언어 기록: 제주어처럼 사라져가는 말을 보존하고 가르치는 데 기여할 수 있어요.
마무리
음성 AI의 다음 과제는 더 많은 언어가 아니라, 한 언어 안의 더 많은 목소리를 담는 것이에요.
고향 사투리로 말하는 AI 비서가 있다면 써보고 싶으세요? 희화화나 사칭 같은 부작용은 어떻게 막아야 할까요?
🔗 출처: Hacker News