말로 코딩하는 시대, 근데 내 목소리는 어디로 갈까요
요즘 개발자들 사이에서 '타이핑 대신 말로 프롬프트 넣기'가 꽤 퍼지고 있어요. 코딩 에이전트에게 긴 설명을 할 때 키보드로 치는 것보다 말로 하는 게 서너 배 빠르거든요. 그래서 Wispr Flow, superwhisper 같은 딕테이션(받아쓰기) 앱들이 인기를 끌고 있는데요. 문제는 이 중 상당수가 음성을 클라우드 서버로 보내서 처리한다는 점이에요. 회사 코드 얘기, 고객 정보, 아직 공개 안 된 기획 내용이 그대로 외부 서버를 거치는 거죠. 보안팀 입장에서는 당연히 불편할 수밖에 없어요.
Jexxa는 이 문제를 정면으로 겨냥한 프로젝트예요. 핵심 포인트는 두 가지, '온디바이스'와 '고속'이에요. 음성을 인터넷으로 보내지 않고 내 컴퓨터 안에서만 처리하면서도, 클라우드 서비스에 뒤지지 않는 속도를 내겠다는 거죠.
온디바이스가 뭐고, 왜 어려운가요
온디바이스(on-device)는 말 그대로 '기기 위에서'라는 뜻이에요. AI 모델이 서버가 아니라 내 노트북의 CPU와 GPU에서 직접 돌아가는 거죠. 이게 뭐가 어렵냐면, 음성 인식 모델은 생각보다 무거워요. OpenAI가 공개한 Whisper 같은 모델은 정확도는 좋지만 큰 버전은 노트북에서 실시간으로 돌리기엔 느리거든요. 말을 끝내고 나서 몇 초 기다려야 글자가 나오면 '그냥 타이핑할걸' 싶어지죠.
그래서 온디바이스 딕테이션의 승부처는 정확도가 아니라 지연 시간(latency)이에요. 말을 멈추는 순간 거의 동시에 텍스트가 찍혀야 실제로 쓸 만해요. Jexxa가 'High Speed'를 전면에 내세운 이유가 바로 여기에 있어요.
속도를 어떻게 끌어올릴까요
온디바이스 음성 인식에서 속도를 내는 방법은 대체로 정해져 있어요. Jexxa도 이 범주 안에서 최적화를 했다고 보면 돼요.
가벼운 모델 선택: 최근에는 Whisper 외에도 엔비디아의 Parakeet, 알리바바의 SenseVoice, 그리고 Whisper를 경량화한 Distil-Whisper 같은 빠른 모델들이 나왔어요. 특히 Parakeet 계열은 비슷한 정확도에서 Whisper보다 훨씬 빠른 걸로 알려져 있죠. 이런 모델을 쓰면 몇 초 분량의 음성을 1초 이내에 텍스트로 바꿀 수 있어요.
하드웨어 가속: 맥이라면 애플 실리콘의 뉴럴 엔진이나 GPU를 쓰는 CoreML, MLX 같은 프레임워크를 활용하고, 윈도우라면 ONNX Runtime이나 DirectML 같은 걸 써요. 이게 뭐냐면 AI 연산을 일반 CPU가 아니라 AI 전용 회로에서 돌리는 거라, 같은 모델이라도 몇 배씩 빨라져요.
스트리밍 처리: 말이 끝날 때까지 기다렸다가 한꺼번에 처리하는 게 아니라, 말하는 도중에 조금씩 잘라서 미리 인식해두는 방식이에요. 이렇게 하면 말이 끝나는 순간 거의 즉시 결과가 나와요.
음성 활동 감지(VAD): 마이크 소리 중에서 실제로 말하는 구간만 골라내는 기술이에요. 침묵이나 잡음 구간을 모델에 넣지 않으니 처리량이 줄고 속도가 올라가죠.
기존 앱들과 뭐가 다른가요
이 분야에는 이미 선수들이 있어요. 맥용 superwhisper와 MacWhisper는 로컬 Whisper를 돌리는 대표 앱이고, Wispr Flow는 클라우드 기반이지만 후처리 품질이 뛰어나서 인기예요. 애플과 윈도우의 기본 딕테이션도 있는데, 개발 용어나 영어 섞인 문장에는 약한 편이죠. 오픈소스 쪽에는 whisper.cpp를 쓰는 다양한 CLI 도구들이 있고요.
Jexxa가 차별화하려는 지점은 '로컬인데 빠르다'예요. 기존 로컬 앱들은 프라이버시는 좋지만 클라우드보다 느리다는 인식이 있었거든요. 이 격차를 없애면 클라우드를 쓸 이유 자체가 사라져요. 다만 아직 초기 프로젝트라 지원 플랫폼, 한국어 인식 품질, 후처리(문장부호, 고유명사 교정) 수준은 직접 써보고 판단해야 해요.
한국 개발자 입장에서는요
가장 현실적인 질문은 '한국어가 되느냐'예요. 온디바이스 모델들은 영어에 최적화된 경우가 많아서, 한국어 인식률은 모델에 따라 편차가 커요. Whisper의 큰 모델들은 한국어를 꽤 잘하지만 속도가 느리고, 빠른 경량 모델들은 한국어 지원이 제한적인 경우가 있거든요. 한국어와 영어 개발 용어가 섞인 문장을 얼마나 잘 받아쓰는지가 실제 채택의 관건이 될 거예요.
보안 관점에서는 확실히 매력적이에요. 금융권이나 대기업처럼 외부 전송이 막힌 환경에서도 딕테이션을 쓸 수 있으니까요. 코딩 에이전트에 프롬프트를 말로 넣는 워크플로우를 사내에서 허용받고 싶다면, 온디바이스 도구가 거의 유일한 선택지일 수 있어요.
직접 만들어보고 싶은 분에게도 좋은 참고 사례예요. whisper.cpp나 Parakeet 모델을 가져다가 VAD와 글로벌 단축키를 붙이면 나만의 딕테이션 도구를 만드는 게 그리 어렵지 않거든요. 주말 프로젝트로 딱이에요.
정리하면
Jexxa는 '음성은 내 컴퓨터를 떠나지 않으면서도 클라우드만큼 빠르게'를 목표로 하는 온디바이스 딕테이션 도구예요. AI 시대에 프라이버시와 속도가 양자택일이 아니라는 걸 보여주려는 시도죠.
여러분은 코딩할 때 음성 입력을 써보셨나요? 써봤다면 한국어 인식은 어땠는지, 그리고 회사에서 클라우드 딕테이션 앱 쓰는 게 허용되는지 궁금해요.
🔗 출처: Hacker News