영상을 전사된 텍스트 위에서 편집하는 도구 Yarn에는 오랫동안 성가신 문제가 있었다. 전사본에서 단어 하나를 지우면 바로 옆 단어의 소리까지 함께 잘려 나가는 일이 적지 않았던 것이다. 이런 편집 방식은 오디오의 어느 구간이 어느 단어에 해당하는지를 정확히 알아야 성립한다. 오디오와 전사본을 넣으면 각 단어의 시작과 끝 시각을 돌려주는 이 작업을 '강제 정렬(forced alignment)'이라고 부른다. Yarn 팀은 기존 정렬기들의 정확도가 편집에 쓰기에는 부족하다고 판단하고, 직접 퀘벡(Quebec)이라는 정렬기를 만들어 공개했다.
팀이 세운 기준은 구체적이다. 깔끔하게 잘라내려면 단어의 시작과 끝 시각이 사람이 손으로 표시한 위치에서 약 20밀리초 안쪽에 들어와야 한다. 이들은 WhisperX, 일레븐랩스 Cue, 몬트리올 강제 정렬기(MFA), Qwen3-ForcedAligner 등을 손으로 라벨링한 음성과 비교해 두 가지를 측정했다. 하나는 단어 경계가 사람이 찍은 지점의 20밀리초 안에 들어온 비율, 다른 하나는 단어 하나를 지우는 편집이 실패하는 빈도다. Yarn 편집기는 다음 단어와의 간격 중간점에서 자르는데, 이웃 단어를 50밀리초 넘게 깎거나 지운 단어를 50밀리초 넘게 남기면 실패로 본다. 가장 나은 도구를 써도 약 다섯 번에 한 번은 편집이 어긋났다.
원인은 도구마다 달랐다. WhisperX와 일레븐랩스는 단어 시작점을 약 50밀리초 늦게 찍었고, 그 값을 빼주어도 타이밍 자체가 들쭉날쭉해 충분치 않았다. MFA는 정밀한 편이지만 간혹 '자리를 잃었다'. 12개 단어 중 1개는 아예 시각이 없이 돌아왔고, 때로는 문장 전체가 발화되지 않은 엉뚱한 위치에 붙기도 했다. 측정은 1만3,900개 단어를 대상으로 했다.
울타리로 탐색 범위를 가두다
퀘벡은 세 가지를 조합해 만들어졌다. 첫째는 '울타리'다. MFA가 자리를 잃는 이유는 빔 서치가 가능성이 낮은 경로를 중간에 버리기 때문인데, 오디오와 전사본이 잠시 어긋나는 순간 정답 경로가 이미 버려진 경로일 수 있다. Yarn은 전사기(일레븐랩스 Scribe)의 타이밍이 거칠긴 해도 크게 빗나가는 일은 드물다는 점(200밀리초 이상 벗어나는 단어가 2% 미만)에 주목했다. 그래서 전사기가 대략의 위치를 말하게 하고, 정밀 탐색은 그 근처만 보도록 제한했다.
이를 위해 자체 디코더를 작성했다. MFA의 음향 모델을 쓰되 각 단어는 전사기가 찍은 위치에서 200밀리초 안쪽에서만 시작하고 끝나야 한다. 이렇게 범위를 가두면 탐색 공간이 작아져 가지치기 없이 정확히 풀 수 있고, 긴 녹음은 쉬는 구간에서 잘라 병렬로 돌릴 수 있다. 그 결과 시각이 없이 돌아오는 단어는 12개 중 1개에서 약 500개 중 1개로 줄었고, 편집 실패율은 MFA의 21%에서 12%로 떨어졌다.
경계를 다듬는 작은 신경망
하지만 울타리만으로는 20밀리초 안에 든 경계가 약 60%에 그쳐 MFA보다 크게 낫지 않았다. 이는 10밀리초 조각마다 어떤 소리인지 맞히도록 학습된 음향 모델의 한계였다. 실제 발화에서 음소가 겹치는 지점에서는 경계를 어디에 그어도 점수가 비슷해지기 때문이다. 팀은 각 경계만 따로 보는 작은 합성곱 신경망을 추가했다. 경계 양쪽 200밀리초씩을 스펙트로그램과 Whisper tiny 앞 두 층의 특징으로 받아, 5밀리초 단위로 경계 위치를 조정하되 최대 50밀리초까지만 움직이게 했다. 이 단계에서 문제는 이미 작아져 있었기에 효과가 컸다. 20밀리초 안에 든 경계는 60%에서 77%로, 중앙값 오차는 15밀리초에서 8밀리초로 개선됐다. 가장 나은 경쟁 도구의 54%와 비교된다.
정작 병목은 학습 데이터였다. 손으로 경계를 표시한 음성은 대부분 유료이거나 연구 전용이고, 자유 라이선스로 구한 것은 Map Task 코퍼스의 약 5만6,000개 경계뿐이었다. 팀은 부족한 데이터를 LLM으로 라벨링하는 길을 택했다. 스펙트로그램만 보여주고 경계를 묻거나 코딩 에이전트에게 직접 그림을 그리게 한 초기 시도는 디코더의 추정보다도 못했다. 효과를 낸 방식은 디코더의 추정 위치, 서로 다른 배율의 그래프 두 장, 단어의 시작과 끝에 관한 규칙 한 페이지를 함께 넣은 단일 제미나이 호출이었다. 검증 결과 제미나이는 사람 라벨의 20밀리초 안에 69% 들어왔고, 출발점이던 추정치는 51%였다. 제미나이가 붙인 라벨을 학습에 더한 효과(73.9%)는 같은 경계에 사람 라벨을 더한 효과(74.0%)와 사실상 같았다. 이렇게 제품 녹음에서 1만6,852개 경계를 몇 시간, 200달러 미만으로 라벨링했다.
실무자가 눈여겨볼 지점
주목할 대목은 퀘벡이 아무것도 처음부터 학습하지 않았다는 것이다. 음향 모델은 MFA, 출발 타이밍은 전사기, 특징은 Whisper에서 가져왔고, 기여는 이들을 조합하는 방식과 생성한 경계 라벨로 작은 모델을 학습시킨 데 있다. 기존 부품을 영리하게 엮어 목적 성능을 끌어올린 전형적인 사례로, 비슷한 정밀도 문제를 안은 팀에 참고가 된다. 속도 면에서 디코더는 대체한 Kaldi 탐색보다 약 두 배 빠르고, HuBERT 대신 Whisper tiny 앞 두 층을 쓰면서 경계 모델은 오디오 1분당 0.7초로 돌아간다. 긴 녹음은 쉬는 구간에서 2분 조각으로 잘라 람다에서 병렬 처리한다. 다만 한계도 분명하다. 짧은 녹음에서는 품질을 위해 속도를 희생해, 4분 오디오를 일레븐랩스가 약 1초에 정렬하는 반면 퀘벡은 약 7초가 걸린다. 그리고 현재는 영어 전용이다. 접근 방식 자체가 영어에 묶여 있지는 않지만 다른 언어에서는 아직 시험하지 않았다는 점은, 비영어 콘텐츠를 다루는 국내 환경에서는 특히 유념할 대목이다. 퀘벡은 가입 없이 quebec.yarn.so에서 바로 시험해 볼 수 있다.