온디바이스 AI에 올인한 유럽 스타트업, 데저트 앤트 랩스가 던지는 질문

클라우드 API 호출로 대부분의 AI 기능을 구현하는 것이 당연해진 시대에, 정반대 방향에 베팅하는 회사가 등장했다. 유럽 기반의 데저트 앤트 랩스(Desert Ant Labs)는 오디오·비전·텍스트 각 작업에 특화된 소형 모델을 기기 위에서 직접 구동하는 '온디바이스 AI'를 표방하며 첫 제품군을 공개했다. 현재 안정 버전 12개와 베타 6개를 합쳐 18개 모델이 공개돼 있고, Swift·Kotlin·JavaScript용 단일 SDK로 접근할 수 있다. 과금 방식은 토큰 단위가 아니라 기기 수 기준이며, 월간 활성 기기 10만 대까지는 무료다. 로그인도 토큰도 없다는 점을 강조한다.

자사 앱의 인프라 비용에서 출발한 문제의식

이 회사의 배경에는 5년간 온디바이스 우선 전략으로 운영해 온 영상 앱 '디테일(Detail)'이 있다. 짧은 클립을 자동 생성하는 오토 에딧이나 팟캐스트 오디오 개선 같은 기능을 붙일 때마다 결국 클라우드 API에 의존해야 했고, 앱 인기가 오를수록 인프라 청구서도 함께 불어났다. 칩과 Core ML, 연구 성과라는 토대는 갖춰져 있었지만, 그 토대와 실제 앱 기능 사이를 몇 줄의 코드로 메워 줄 '바로 넣어 출시할 수 있는 모델'이 없었다는 것이 이들의 진단이다. 그래서 직접 모델을 훈련하기로 했다는 설명이다.

구체적인 사례로는 오디오 개선에서 돌비(Dolby)를 자사 모델 클리어(Clear)로 대체했고, 전사(transcription)는 보즈(Voz)로 기존 대비 5배 빠르게 만들었다고 밝혔다. 특히 클립스(Clips)는 284MB 크기의 모델로 10분짜리 영상을 5초 만에 열두 개가량의 클립으로 만들어내는데, 이를 두고 클로드 소네트(Claude Sonnet)를 대체하면서 같은 품질에 10배 빠르고 에너지는 470배 적게 쓴다고 주장한다. iOS 27과 함께 나올 디테일 6은 모든 클라우드 API를 자사 모델로 교체해 전적으로 기기 위에서 돌아가도록 할 계획이라고 한다.

'작은 뇌'에서 시작하는 전략

데저트 앤트는 자사 접근을 소뇌(cerebellum)에 비유한다. 균형과 타이밍처럼 늘 배경에서 돌아가는 일을 소뇌가 처리하듯, 하루 종일 반복되는 작업을 기기 위에서 무료로 담당하는 특화 모델을 먼저 100개가량 만들겠다는 것이다. 그다음 단계는 어떤 모델이 답할지를 결정하는 '피질(cortex)' 계층으로, 우선 작은 로컬 모델을 쓰고 필요할 때만 큰 모델을, 데이터가 기기를 반드시 벗어나야 할 때만 클라우드를 호출하는 라우팅 구조다. 오픈 연구와 기기 실리콘이 발전하면 로컬 모델의 크기도 함께 키워 나가겠다는 로드맵을 제시한다.

이 전략의 근거로 몇 가지 수치를 인용한다. 엔비디아 연구진이 세 개의 에이전트 시스템을 분석한 결과, 대형 모델 호출의 40~70%는 소형 특화 모델로 넘길 수 있다고 추정했다는 것이다. 또한 업계가 올해 데이터센터에 약 4,500억 달러를 쓰는 동안, 세계에는 점점 강력해지는 칩을 탑재한 휴대폰·태블릿·노트북이 10억 대 넘게 출하되고 있으며 사람들의 손안에 있는 연산 능력이 지구상 모든 AI 데이터센터를 합친 것보다 많다고 주장한다. 추론 비용이 사실상 0이 되면 '확인할 수 있는 요청만'이 아니라 모든 메시지마다 기능을 돌릴 수 있고, 왕복 통신이 없어 고객 데이터가 기기를 떠나지 않는다는 점을 차별화 포인트로 내세운다.

실무자 관점의 함의와 한계

한국 개발자 입장에서 이 발표의 실질적 의미는 두 가지다. 첫째, 필러 워드 제거, 녹음 정리, 사진 태깅, 문장에서 날짜 추출처럼 하루에 수만 번 같은 방식으로 반복되는 호출은 굳이 프런티어 모델이 필요 없다는 문제의식은 비용 구조에 직접 닿는다. 토큰 단가와 지연 시간에 눌려 일부 요청에만 적용하던 기능을 전체 트래픽으로 확장할 여지가 생긴다. 둘째, 유럽에서 '온디바이스'가 데이터 주권의 기본값으로 통한다는 점에서, 업로드된 적 없는 데이터는 강제로 제출시킬 수도 없다는 규제·프라이버시 논리가 함께 따라온다. 모델과 런타임을 함께 최적화해 아이폰에서는 뉴럴 엔진, 브라우저에서는 동일한 가중치를 웹어셈블리로 돌린다는 점도 통합 구현을 노리는 팀에는 매력적이다.

다만 공개된 정보만으로 판단하기에는 유의할 부분이 있다. 제시된 속도·에너지·품질 우위는 대부분 자사 측 주장이며, '같은 품질'의 기준이나 벤치마크 조건은 각 모델 페이지와 허깅 페이스에서 직접 확인해야 한다. 18개 모델 중 3분의 1이 아직 베타이고, 전체 구상의 핵심인 라우팅 계층(피질)과 100개 모델 로드맵은 아직 목표 단계다. 무료 구간이 월 10만 활성 기기까지라는 점도 규모가 큰 서비스에서는 조건을 따져봐야 한다. 그럼에도 데이터센터 증설 경쟁의 반대편에서 '손안의 연산'을 재발견하려는 시도라는 점에서, 온디바이스 기능을 검토해 온 팀이라면 SDK와 CLI로 실제 작업 성능을 자기 데이터에 대고 검증해 볼 가치는 충분하다.