대부분의 음성 AI 데모는 스튜디오 품질로 공개되지만, 실제 서비스는 전화선 위에서 작동한다. 애틀랜타의 독립 팀 Destined AI가 공개한 오픈소스 음성 합성 모델 '허스턴-1(Hurston-1)'은 바로 이 간극을 겨냥한다. 이 모델은 아파치 2.0 라이선스의 Maya1을 파인튜닝한 것으로, 성별·나이·억양·스타일·속도를 일상어로 서술한 설명문을 입력하면 그에 맞는 음성을 생성한다. 특히 기존 TTS가 잘 다루지 못하던 미국 남부 영어, 나이지리아·서아프리카·동아프리카·남아프리카 영어 등 다양한 억양을 지원한다는 점을 내세운다.
전화선을 1차 타깃으로 삼은 설계
허스턴-1의 가장 뚜렷한 특징은 개발팀이 'NB-TTS(협대역 TTS)'라고 부르는 전화선 전용 모드다. 고객 상담의 상당수가 여전히 전화로 이뤄지고, 상대가 AI 상담원인 경우에도 마찬가지라는 현실 인식에서 출발했다. 이 모드는 발신자가 실제로 듣게 되는 형태, 즉 8kHz G.711 오디오를 내보내 트윌리오(Twilio) 같은 텔레포니 시스템에 바로 연결할 수 있다. 기본값은 여전히 24kHz 풀오디오지만, 전화 환경을 별도의 1급 사용 사례로 다룬다는 점이 설계 철학을 보여준다. 모델 학습에도 실제 기여자와 AI 음성 에이전트 간의 전화 통화 데이터가 일부 쓰였다.
입력 방식은 설명 기반이다. 속도 라벨은 학습 데이터의 자연스러운 발화 속도에서 뽑아낸 절대 기준으로, 대략 초당 2단어 미만이 '느림', 2~2.6이 'measured', 2.6~3.4가 '자연스러움', 3.4 이상이 '빠름'에 해당한다. 모델은 이 라벨을 정확히가 아니라 근사적으로 따른다. 중요한 전제는 허스턴-1이 특정 인물의 목소리를 복제하지 않으며, 실존 인물을 재현하도록 학습되지도 않았다는 점이다. 호출할 때마다 설명에 맞는 새로운 목소리가 샘플링된다.
억양을 실제로 구현하는가, 말을 정확히 하는가
개발팀은 두 가지 질문으로 모델을 평가했다. 억양처럼 들리는가, 그리고 입력한 단어를 제대로 발음하는가다. 억양 강도는 베이스 모델인 Maya1과 비교했다. Maya1이 문서화한 다섯 개 억양(미국·인도·중동·아시아계 미국·영국)과 공정하게 맞추기 위해 Maya1 고유의 설명 방식으로 프롬프트를 작성하고, 동일한 10개 문장과 18개 목소리(모델당 180개 클립)로 비교했다. 아프리카 영어와 미국 영어를 구분하도록 실제 화자로 학습한 억양 분류기가 각 그룹을 채점했는데, 이 분류기는 남부 미국 영어와 일반 미국 영어를 구분하지 못해 해당 억양은 청취로 확인했다.
명료도는 Whisper large-v3-turbo로 입력 텍스트 대비 단어 오류율(WER)을 측정했다. 베이스 Maya1은 대체로 미국 영어에 머물러 매우 또렷했지만, 허스턴-1은 실제로 억양을 구현하면서도 거의 동일한 명료도를 유지했다. 가장 어려운 범주는 이름과 숫자로 WER 0.17을 기록했는데, 개발팀은 그 일부가 모델의 오발음이 아니라 인식기가 'Adaeze Okafor' 같은 아프리카 이름을 잘못 받아쓴 탓이라고 설명한다. 발화 속도는 자연 페이싱 기준 중앙값 초당 2.84단어로, Maya1의 3.76보다 다소 느긋하다. 빠른 전달이 필요하면 fast 페이싱을 쓰도록 권한다.
블라인드 청취 결과는 특히 눈에 띈다. 평가자들은 같은 문장을 두 모델에서 무작위 순서로 듣고 어느 쪽이 요청한 억양을 가진 실제 사람처럼 들리는지 골랐다. 54회 비교에서 허스턴-1이 78%, 베이스 Maya1이 6% 선택됐고 나머지는 무승부나 둘 다 아님으로 평가됐다. Maya1은 아프리카나 남부 미국 목소리에서는 한 번도 선택되지 않았고, 몇 안 되는 승리는 평범한 미국 영어에서 나왔다.
데이터와 그 유래
학습은 Maya1에 대한 LoRA(rank 64) 파인튜닝으로, 2,000스텝, 약 190시간 분량의 음성이 쓰였다. 억양 라벨은 기여자가 스스로 보고한 배경을 바탕으로 하되 오디오 억양 분류기와 사람의 청취로 교차 검증했으며, 오디오와 라벨이 어긋난 화자는 재분류하거나 제외했다. 속도 라벨은 각 클립의 실측 발화 속도에서 가져왔고, 기여자는 모두 성인이었다. Destined AI는 2021년부터 미국 남부와 아프리카 전역의 동의를 받은 유급 기여자를 녹음해 왔으며, 1,800시간이 넘는 전체 코퍼스는 이번 공개에 포함되지 않고 라이선싱 대상으로 남겨뒀다. 모델명은 플로리다 이튼빌에서 자라 인류학자로서 남부 흑인들의 말과 이야기를 기록한 조라 닐 허스턴에서 따왔으며, 유족의 승인을 의미하지는 않는다고 못 박았다.
실무자에게 중요한 것은 적용 범위의 경계다. 개발팀이 가장 먼저 권하는 용도는 폭넓고 고품질인 억양 테스트 데이터 생성이다. 반면 세션 간 일관된 단일 브랜드 음성이 필요한 경우, 특정 인물 복제, 사람의 사전 청취 없는 안전 필수 용도에는 아직 맞지 않는다고 분명히 밝힌다. 각 호출마다 새 목소리가 생성되는 특성상 동일 음성 유지가 불가능하기 때문이다. 또한 실존 인물 사칭이나 청취자 기만, 사기에 사용해서는 안 되며 합성 음성임을 반드시 고지하라는 사용 지침을 함께 걸어뒀다. 다양한 억양을 '일반 미국 영어'로 뭉개지 않겠다는 문제의식과, 전화선이라는 실제 배포 환경을 정면으로 다룬 접근은 음성 AI를 상담·테스트 파이프라인에 넣으려는 팀에게 참고할 만한 지점이다.