로컬 LLM과 클라우드 LLM, 규칙으로 칼같이 나눠 쓰는 'Wayfinder Router'

비싼 API와 내 PC의 모델, 둘 다 쓰면 안 될까요

요즘 ChatGPT나 Claude 같은 거대 언어 모델(LLM)을 API로 가져다 서비스에 붙이는 일, 정말 흔해졌죠. 그런데 막상 본격적으로 쓰다 보면 두 가지 벽에 부딪혀요.

첫째는 돈이에요. API는 글자(토큰) 단위로 요금이 매겨지거든요. 사용자가 한 명일 땐 괜찮은데, 수천 명이 하루 종일 질문을 던지기 시작하면 월말 청구서가 무섭게 불어나요. 둘째는 보안이에요. 사내 문서나 고객 개인정보 같은 민감한 데이터를 외부 회사 서버로 통째로 보내는 게 영 께름칙할 때가 있잖아요.

그래서 나온 발상이 "두 개를 섞어 쓰자"예요. 요즘은 Llama, Qwen, Gemma 같은 모델을 내 PC나 회사 서버에서 직접 돌릴 수 있거든요. 이걸 로컬 모델이라고 해요. 전기료 빼면 공짜고, 데이터도 밖으로 안 나가죠. 대신 성능은 GPT-4 같은 초대형 모델보다 떨어져요. Wayfinder Router는 바로 이 지점을 노린 도구예요. "쉬운 질문은 로컬한테, 어려운 질문만 비싼 클라우드한테" 보내주는 교통정리 담당이죠.

'결정적(deterministic)'이라는 게 핵심이에요

사실 이런 라우팅(질문을 어디로 보낼지 정하는 일) 아이디어 자체는 새롭지 않아요. 그런데 Wayfinder가 강조하는 단어가 바로 deterministic, 우리말로 '결정적'이에요. 이게 뭐냐면, "같은 입력을 넣으면 항상 같은 곳으로 간다"는 뜻이에요.

비교를 해볼게요. 기존에 유명했던 라우팅 방식들은 대부분 머신러닝 분류기를 써요. 작은 AI 모델이 질문을 슬쩍 보고 "음, 이건 70% 확률로 어려운 질문이네" 하고 점수를 매겨서 보내는 식이죠. 똑똑해 보이지만 문제가 있어요. 왜 그쪽으로 보냈는지 사람이 알기 어렵고, 어쩌다 한 번씩 엉뚱하게 라우팅돼도 디버깅이 힘들어요. 같은 질문인데도 그때그때 다른 곳으로 갈 수도 있고요.

반면 결정적 라우팅은 명확한 규칙으로 움직여요. 예를 들면 이런 식이에요.

질문 길이가 일정 글자 수를 넘으면 → 클라우드
코드 생성이나 복잡한 추론 키워드가 들어 있으면 → 클라우드
단순 분류·요약·짧은 답변이면 → 로컬

규칙이 눈에 보이니까 "왜 이 질문이 비싼 API로 갔지?" 하는 의문이 생기면 규칙만 들여다보면 돼요. 운영하는 입장에서는 이 예측 가능성이 엄청난 장점이에요. 비용도 미리 계산이 서고, 라우팅 로직을 코드로 관리(버전 관리)할 수 있으니까요.

업계에서는 어떤 위치일까요

비슷한 시도로는 LMSYS 팀의 RouteLLM이 가장 유명해요. 이건 사람들의 선호 데이터로 학습시킨 모델 기반 라우터라서 '확률적'이에요. 그리고 OpenRouter 같은 서비스는 여러 클라우드 모델 사이를 중개해 주지만, 로컬 모델과 묶어서 비용·프라이버시까지 챙겨주는 건 결이 좀 달라요. 또 의미를 임베딩(벡터)으로 바꿔서 비슷한 질문끼리 묶는 '시맨틱 라우팅'도 있는데, 이것도 결국 학습된 모델에 의존하죠.

Wayfinder의 포지션은 "AI로 AI를 고르지 말고, 그냥 사람이 정한 명확한 규칙으로 고르자"예요. 화려하진 않지만, 실무에서 운영해 본 사람이라면 이 단순함이 왜 매력적인지 단번에 알 거예요. 블랙박스 하나를 줄이는 거니까요.

한국 개발자에게는

국내에서도 LLM을 서비스에 붙이려는 팀이 정말 많아졌는데, 대부분 비용과 데이터 주권 두 가지로 고민하죠. 특히 금융·의료·공공처럼 데이터를 함부로 외부에 못 보내는 분야라면, "민감한 건 로컬, 일반적인 건 클라우드"라는 분리 전략이 거의 필수예요.

당장 이 도구를 그대로 안 쓰더라도, 결정적 라우팅이라는 설계 사고방식은 배워둘 만해요. 직접 만들 때도 처음부터 거창한 ML 분류기 붙이지 말고, 간단한 규칙 라우터로 시작해서 로그를 쌓아보세요. 의외로 규칙 몇 개만으로 비용의 절반 이상을 깎는 경우가 많거든요.