작은 AI에게 '저 이건 잘 몰라요'라고 말하는 법을 가르치다 — Cactus Hybrid

스마트폰이나 노트북에서 인터넷 연결 없이 바로 돌아가는 AI를 '온디바이스 AI'라고 부르는데요, 여기엔 오래된 딜레마가 하나 있어요. 기기에 들어갈 만큼 작은 모델은 자주 틀리고, 똑똑한 큰 모델은 기기에 안 들어간다는 거죠. 그런데 진짜 골치 아픈 건 따로 있거든요. 작은 모델은 틀릴 때조차 아주 자신만만하게 틀려요. 사용자 입장에선 맞는 답인지 틀린 답인지 구분할 방법이 없는 거예요. 온디바이스 AI 프레임워크를 만드는 Cactus 팀이 이 문제에 흥미로운 답을 내놨어요. 구글의 오픈 모델 Gemma를 학습시켜서, 자기가 틀릴 것 같은 순간을 스스로 알아차리게 만든 겁니다. 프로젝트 이름은 Cactus Hybrid예요.

핵심 아이디어: 심판을 따로 두지 말고, 선수가 직접 손을 들게

이 방식이 왜 새로운지 이해하려면 기존의 '하이브리드 추론'이 어떻게 동작했는지 알아야 하는데요. 이게 뭐냐면, 쉬운 질문은 값싼 작은 모델이 처리하고 어려운 질문만 비싼 큰 모델로 넘기는 구조를 말해요. 식당으로 치면 간단한 주문은 신입이 받고, 까다로운 컴플레인이 오면 매니저를 부르는 거죠. 문제는 '누가 어려운 질문인지 판단하느냐'예요. 지금까지는 별도의 라우터 모델을 앞에 세워두고 질문을 먼저 보게 하는 방식이 흔했는데, 질문 겉모습만 보고는 작은 모델이 실제로 맞힐 수 있을지 알기 어렵거든요. 짧고 쉬워 보이는 질문이 사실 함정투성이인 경우도 많고요.

Cactus Hybrid는 이 접근을 뒤집었어요. 라우터를 따로 두는 대신, 답을 생성하는 Gemma 모델 자체가 '이 답을 내가 얼마나 확신하는지'를 함께 판단하게 만든 거예요. 방법은 이렇습니다. 모델이 정답을 맞힌 사례와 틀린 사례를 대량으로 모아서, 틀리는 상황에서 모델 내부가 어떤 패턴을 보이는지 학습시키는 거죠. 이렇게 미세조정(파인튜닝)된 모델은 답변과 함께 일종의 확신도 신호를 내놓고, 이 값이 기준치보다 낮으면 그때만 클라우드의 큰 모델로 질문을 넘겨요. 사람으로 치면 '아는 척'하는 버릇을 고치고 '이건 제가 잘 모르는 영역이에요'라고 말하는 법을 가르친 셈이에요.

이 구조가 주는 실질적인 이득

이런 구조가 잘 동작하면 얻는 게 꽤 많아요. 일단 비용인데요, 사용자 질문의 대부분은 사실 간단한 것들이라 로컬에서 공짜로 처리되고, 정말 어려운 소수만 클라우드 API 비용을 내면 되거든요. 두 번째는 프라이버시예요. 내 메시지나 문서가 기기 밖으로 나가는 경우 자체가 줄어드니까요. 세 번째는 속도와 오프라인 동작이에요. 네트워크 왕복 없이 즉시 응답이 오고, 비행기 모드에서도 기본 기능은 살아 있죠. LLM의 고질병인 환각(그럴듯한 거짓말을 지어내는 현상)을 완전히 없애지는 못해도, '틀릴 것 같은 순간'을 감지해서 더 강한 모델에게 넘긴다는 것 자체가 꽤 실용적인 안전장치가 되는 거예요.

업계 흐름에서 보면

사실 이 철학은 업계 전반에서 이미 대세가 되어가고 있어요. Apple Intelligence가 딱 이 구조거든요. 온디바이스 모델이 먼저 처리하고, 감당이 안 되는 요청만 Private Cloud Compute라는 애플 서버의 큰 모델로 넘기죠. FrugalGPT나 RouteLLM 같은 연구들도 작은 모델부터 순서대로 시도하는 '모델 캐스케이드'로 비용을 줄이는 방법을 다뤄왔고요. 차이가 있다면 Cactus는 라우팅 판단의 주체를 외부 심판이 아니라 모델 자신에게 맡겼다는 점이에요. 자기 상태를 가장 잘 아는 건 결국 자기 자신이라는 발상인데, 물론 '모델의 자기 평가를 얼마나 믿을 수 있느냐'는 반론이 나올 수 있는 지점이기도 하죠.

한국 개발자에게 주는 시사점

모바일 앱에 AI 기능을 넣어본 분이라면 API 비용이 사용자 수에 비례해 무한정 늘어나는 공포를 아실 텐데요. 이런 하이브리드 구조는 그 비용 곡선을 꺾을 수 있는 현실적인 방법이에요. 예를 들어 메모 요약, 알림 분류, 간단한 문장 다듬기 같은 기능은 로컬 모델로도 충분한 경우가 많거든요. 코드가 GitHub에 공개되어 있으니 확신도 학습을 실제로 어떻게 구현했는지 직접 뜯어볼 수 있다는 것도 큰 장점이고요. 온디바이스 AI가 '데모용 장난감'에서 '비용 절감 도구'로 넘어가는 과도기라, 지금 이 패턴을 익혀두면 쓸 데가 많을 거예요.

정리하면, 작은 모델의 진짜 약점은 '모른다는 사실을 모르는 것'이고, Cactus Hybrid는 그걸 알아차리게 가르쳐서 로컬과 클라우드의 장점만 조합하려는 시도예요. 여러분이라면 지금 만들고 있는 서비스에서 어떤 기능을 로컬 모델로 내릴 수 있을 것 같나요? 그리고 모델이 스스로 매기는 확신도, 어디까지 믿을 수 있다고 보세요?