1000만 파라미터 미만 로컬 TTS, Inflect-Micro-v2가 던지는 질문

오픈소스 음성 합성 진영에서 흥미로운 실험적 릴리스가 하나 등장했다. 개발자 Owen Song이 독립적으로 만들고 자비로 개발했다고 밝힌 Inflect-Micro-v2는 935만 6513개의 배포 가능 파라미터, FP32 기준 37.53MB 용량으로 24kHz 모노 음성을 만들어내는 영어 전용 텍스트-투-웨이브폼(text-to-waveform) 모델이다. 최근 수십억 파라미터급 음성 모델이 화제를 모으는 흐름과는 정반대로, 이 프로젝트는 '10M(1000만) 파라미터 미만에서 완결된 로컬 음성 합성이 어디까지 가능한가'라는 질문을 정면으로 겨냥한다. 참고로 Inflect v2는 품질을 우선하는 Micro와 4M 미만의 초소형 Nano 두 가지 크기를 동일한 공개 API로 제공하며, 헤드라인 수치는 모두 Micro 기준이다.

아키텍처와 동작 방식

기술적으로 Inflect v2는 VITS 계열의 파라미터 효율형 엔드투엔드 생성 모델이다. 영어 음소 프론트엔드, 단조 정렬(monotonic alignment), 확률적 잠재 합성, 잔차 결합 플로우(residual coupling flow), 그리고 에일리어싱을 줄인 신경망 파형 디코더가 하나의 패키지 안에 통합돼 있다. 여기서 실무적으로 중요한 대목은 파형 디코더까지 포함한 완결된 경로가 이 용량 안에 들어간다는 점이다. 추론 시 별도의 참조 음성이나 외부 모델이 필요 없고, 결정론적 시드(deterministic seed)를 지원해 같은 입력에 같은 출력을 재현할 수 있다. 긴 텍스트는 무제한 자기회귀 방식으로 한 번에 처리하는 대신 구두점 경계를 기준으로 잘라 청크 단위로 합성한 뒤, 짧은 정지와 페이드를 넣어 이어 붙인다. 이 방식은 안정성 면에서 유리하지만 청크 경계의 운율 처리가 곧 품질의 관건이 된다는 뜻이기도 하다.

성능을 하나의 점수로 뭉치지 않는다

이 릴리스에서 눈여겨볼 태도는 평가 방식이다. 개발자는 TTS 품질을 담아내는 단일 지표는 없다며 인간 선호도, 예측 자연성, 다중 ASR 명료도, 전체 용량, 실행 속도를 하나의 검증 불가능한 점수로 압축하지 않고 각각 따로 보고했다. 익명 커뮤니티 비교 연구에서 Inflect-Micro-v2는 66.2%의 선호율(21승 10패 3무)을 기록했는데, 시스템은 가려졌고 좌우 배치는 무작위였으며 무승부는 0.5승으로 계산됐다. 다만 이를 정식 MOS가 아니라 서술적 커뮤니티 증거라고 스스로 못 박는다. 학습형 자연성 예측기인 UTMOS22에서는 500개 미공개 프롬프트로 4.395점(95% 부트스트랩 신뢰구간 4.381~4.408)을 얻었으나, 이 역시 사람이 매긴 점수가 아니라는 단서를 붙인다.

명료도 헤드라인은 Qwen3-ASR과 Nemotron 3.5의 코퍼스 단어오류율(WER)을 동등 가중 평균한 값으로, Inflect-Micro-v2는 각각 2.52%와 5.45%를 기록했다. Whisper large-v3는 2.73%였지만 헤드라인에서 제외됐는데, 이는 성능이 나빠서가 아니라 Whisper가 일부 경쟁 모델 클립에서 삽입 오류성 환각을 일으켰기 때문이다. 세 모델 평균 3.57%는 삭제하지 않고 감사용 참고값으로 남겨뒀다. 이렇게 불리하거나 애매한 수치를 지우지 않고 노출하는 방식은, 벤치마크를 마케팅 도구로 쓰기보다 진단 자료로 취급하려는 의도로 읽힌다.

속도와 비교의 한계를 스스로 밝히다

속도 측면에서 두 모델 모두 CPU에서 실시간보다 빠르게 합성된다. 기준 측정은 허깅페이스 CPU 업그레이드 인스턴스(8 vCPU, 32GB RAM)에서 프레임워크 스레드 4개, Modern400 프롬프트 100개로 진행했고, 캐시를 만드는 첫 패스는 제외한 뒤 2·3차 패스를 합산했다. 그런데 여기서 저자는 비교표의 함정을 직접 지적한다. 경쟁 모델(KittenTTS Nano, Piper Low, Supertonic 3)들은 더 짧은 50개 프롬프트 확인 패스를 썼고, 상당수가 최적화된 ONNX 런타임을 쓴 반면 공개된 Inflect 벤치마크는 표준 PyTorch 런타임 기준이라는 것이다. 즉 완벽하게 조건이 맞춰진 속도 리더보드가 아니라 배포 맥락으로 봐야 한다는 단서를 스스로 붙인다. 별도로 공개된 Inflect ONNX 경로는 이 수치에 대입되지 않았다.

한국 실무자 입장에서 이 모델의 매력은 명확하다. 37MB 안팎의 용량, PyTorch 없이도 돌아가는 검증된 ONNX 익스포트(duration.onnx와 decode.onnx로 분리, CPU·CUDA·DirectML 프로바이더 선택 가능), 결정론적 재현성, Apache-2.0 라이선스는 온디바이스나 엣지 환경, 브라우저 배포를 검토하는 팀에게 실질적인 선택지다. 다만 분명한 제약이 있다. 첫째, 이 릴리스는 영어 단일 고정 합성 음성만 제공하며 실제 화자의 녹음 코퍼스를 재배포하지 않는다. 둘째, 새 음성이나 새 언어 적응은 현재 검증·지원되지 않는다. 새 음성을 넣으려면 기존 화자를 교체해야 하고, 다른 언어는 정규화·음소·심볼·임베딩·학습 데이터를 전부 다시 구축해야 한다. 한국어 지원을 기대한다면 지금 단계에서는 답이 없다는 뜻이다.

또 하나 유념할 점은 이 패키지가 추론 우선(inference-first) 오픈웨이트라는 것이다. 배포 가중치, 추론·프론트엔드 코드, 평가 프롬프트, 릴리스 리포트는 공개되지만 학습 코퍼스 생성 파이프라인과 필터링 인프라, 전체 최적화 레시피는 공개 대상이 아니다. 따라서 결과물을 그대로 쓰는 데는 문제가 없어도 동일한 방식으로 재현하거나 파인튜닝하려는 시도는 제약을 받는다. 저자는 합성 음성을 실제 인물 사칭이나 기만, 사기 콘텐츠에 쓰지 말고 오해 소지가 있는 맥락에서는 합성임을 밝히라고 명시했다. 결국 Inflect-Micro-v2는 완성된 상용 대안이라기보다, 소형 로컬 TTS의 실용 하한선을 투명한 평가와 함께 제시한 개인 개발자의 진지한 제안으로 보는 편이 정확하다. 다국어와 안정성을 담을 v3의 향방은 이 v2가 실제 수요를 확인하느냐에 달려 있다.