Cactus Hybrid는 스마트폰에서 돌아가는 소형 모델 Gemma가 자신의 답이 틀릴 가능성을 스스로 판단하도록 훈련한 프로젝트입니다. 핵심 아이디어는 간단합니다. 쉬운 질문은 기기 안에서 로컬 모델이 즉시 처리하고, 모델이 스스로 '확신이 없다'고 판단한 어려운 질문만 클라우드의 대형 모델로 넘기는 하이브리드 라우팅입니다. 이렇게 하면 대부분의 요청을 온디바이스에서 무료·저지연·프라이버시 보장으로 처리하면서도, 정확도가 중요한 순간에만 비용을 들여 클라우드를 씁니다. 관건은 모델이 자신의 불확실성을 정직하게 신호로 내보내는 캘리브레이션 능력인데, Cactus는 이 '틀림 감지'를 학습시켜 잘못된 로컬 답을 사용자에게 그대로 내놓는 사고를 줄였습니다. 한국 IT 종사자에게 시사하는 바는 분명합니다. LLM 서비스의 비용과 응답 속도, 개인정보 문제를 한 번에 잡으려면 무조건 큰 모델을 부르는 대신, 로컬과 클라우드를 상황에 따라 지능적으로 나누는 설계가 실용적 대안이 된다는 점입니다. 엣지 AI와 모바일 앱을 다룬다면 눈여겨볼 접근입니다.