블록(Block)의 소규모 AI 연구팀이 '데사(Dessa)'라는 풀듀플렉스(full-duplex) 음성 모델의 리서치 프리뷰를 공개했다. 이 팀은 토론토의 딥러닝 스타트업 데사 출신 인력이 주축이며, 2012년부터 딥러닝 모델을, 8년 넘게 생성형 음성 모델을 만들어 왔고 블록 공동창업자 겸 회장인 잭 도시에게 직접 보고한다고 밝혔다. 모델 이름을 과거 자신들이 몸담았던 스타트업에서 따온 셈이다.
데사가 기존 음성 AI와 구분되는 지점은 학습 방식에 있다. 오늘날 대부분의 음성 비서는 사용자의 말을 일단 텍스트로 변환한 뒤 언어 모델로 처리하고 다시 음성으로 합성한다. 이 과정에서 억양, 한숨, 웃음, 말의 빠르기, 감정 같은 정보가 상당 부분 사라진다. 블록은 이런 '음성 → 텍스트 → 음성' 파이프라인이 응답을 느리고 어색하게 만든다고 본다. 데사는 사전학습 모델이나 텍스트를 전혀 쓰지 않고 오직 사람의 대화 음성만으로 처음부터 학습했다는 점을 핵심으로 내세운다. 입력도 출력도 오디오인 진짜 speech-to-speech 모델이라는 설명이다.
소리에서 직접 배운다는 것의 의미
풀듀플렉스란 듣기와 말하기가 동시에 일어난다는 뜻이다. 사람이 상대의 말에 "응", "그렇지" 같은 맞장구(백채널링)를 끼워 넣거나 적절한 순간에 말을 끊고 들어가듯, 데사도 언제 끼어들고 언제 추임새를 넣을지를 실제 대화 녹음을 통해 익혔다고 한다. 공개된 데모에서는 웃긴 대목에서 문장 중간에 즉시 웃음을 터뜨리거나, 상대가 영화 제목을 떠올리지 못하자 문장을 대신 마무리하고, 깜짝 놀라는 순간 낮은 목소리로 "오 마이 갓"을 내뱉는 식의 반응을 보였다. 블록은 더 크게 말해 달라고 하면 실제로 목소리를 키우는 등, 명시적으로 가르치지 않은 행동이 나타났다고 주장한다. 다만 이 사례들은 블록이 선별해 공개한 녹음이며 자막은 사후에 붙인 것이어서, 외부에서 재현 가능한 평가는 아직 제시되지 않았다.
블록은 이 접근이 효율 측면에서도 흥미롭다고 말한다. 대규모 언어 모델이 막대한 양의 텍스트를 필요로 하는 데 비해, 데사는 수백 배 적은 단어 분량으로 언어를 배웠다는 것이다. 물론 언어 모델은 코드 같은 다른 영역까지 학습한다는 차이가 있다. 음성 데이터는 같은 문장도 발화할 때마다 미세하게 달라지고, 한 단어가 텍스트보다 수천 배 많은 바이트를 차지하기 때문에 텍스트 없이 소리만으로 언어와 사실을 익히는 일은 기술적으로 훨씬 까다롭다. 블록은 이 모델을 엔비디아 GB200 NVL72 단 한 대로 학습시켰다고 밝혔다.
실무자가 눈여겨볼 지점과 한계
실용성 측면에서 주목할 대목은 구동 환경이다. 데사는 추론 속도가 실시간보다 빨라 응답 지연이 거의 없고, 맥북 프로 M4 맥스 이상 사양에서 로컬로 돌아간다고 소개됐다. 클라우드 왕복 없이 단말에서 대화형 음성 AI가 작동한다면 지연과 프라이버시 측면에서 의미가 있다. 다만 '이상 사양'이라는 조건이 붙은 만큼 현재로서는 상당히 높은 하드웨어를 요구하며, 일반 사용자 기기로의 확장 가능성은 공개되지 않았다.
블록은 데사를 만든 이유로 호기심, 사람과 AI의 상호 이해, 그리고 안전을 들었다. 특히 안전 논리가 눈길을 끈다. 아기가 글자를 보지 않고도 말을 배우듯 모델도 가능한지 확인하고 싶었다는 동기와 함께, 강력해지는 AI가 여전히 목소리에 담긴 감정에는 거의 '귀머거리'라는 점을 문제로 지목했다. 사용자가 극심한 고통 속에 있는데도 음성 AI가 이를 알아차리지 못하고 대화를 이어가는 상황을 위험 사례로 들며, 데사가 그 간극을 좁히는 한 걸음이라고 설명한다.
현실적으로 이번 발표는 완성된 제품이 아니라 리서치 프리뷰이며, 블록은 미처 예상하지 못한 위험을 찾기 위해 소수의 AI 안전 연구자에게만 우선 접근 권한을 제공한다고 밝혔다. 한 데모에는 제3자 모델인 'GPT-Live-1'과의 대화도 포함됐는데, 블록은 해당 모델 개발사가 자사와 무관하며 데사를 검토하거나 보증한 바 없다고 명시했다. 세계 최초라거나 가장 진짜 같다는 표현은 모두 블록 자신의 주장이고 독립적 검증은 아직 없다는 점을 감안해야 한다. 그럼에도 텍스트를 매개하지 않는 음성 우선 인터페이스라는 방향 자체는, 음성 기반 서비스를 설계하는 실무자들이 향후 아키텍처 선택을 고민할 때 참고할 만한 신호다.