프론티어 AI는 너무 비싸다: 로컬 AI + 외주 조합이 곧 더 경제적이 된다는 주장

GPT-5, Claude Opus를 매일 쓰는 비용, 정말 감당 가능할까?

요즘 개발자라면 누구나 한 번쯤 고민해본 문제일 거예요. OpenAI, Anthropic, Google의 최상위 모델들을 API로 쓰면 성능은 정말 좋은데, 토큰당 단가가 만만치 않거든요. 특히 코딩 에이전트처럼 한 작업에 수십만 토큰을 쏟아붓는 워크플로우는 한 달에 수백 달러가 우습게 나가요. SignalBloom이라는 매체에서 이번에 흥미로운 주장을 내놨는데요, "앞으로는 로컬 AI + 사람 외주 조합이 프론티어 AI보다 더 싸질 것" 이라는 거예요.

언뜻 들으면 "AI 시대에 무슨 사람 외주?" 싶은데, 글의 논리를 따라가 보면 꽤 설득력이 있어요. 핵심은 "모든 일을 최고급 AI에 맡길 필요는 없다"는 거예요. 80%의 일은 작은 로컬 모델로도 충분하고, 그게 안 되는 20%만 사람한테 외주로 넘기면, 전체 비용이 프론티어 모델 API를 매번 호출하는 것보다 낮아진다는 계산이에요.

로컬 AI가 이렇게 빨리 좋아질 줄 누가 알았을까

이 주장의 배경엔 오픈소스 모델의 무서운 진화가 있어요. 작년까지만 해도 Llama 3, Mistral 같은 모델들은 "GPT-3.5 정도는 따라잡았다" 수준이었거든요. 그런데 올해 들어 Qwen, DeepSeek, Llama 4 시리즈가 나오면서 코딩, 추론 같은 영역에서 1년 전 GPT-4를 넘어서기 시작했어요. 그것도 맥북 프로 한 대에서 돌릴 수 있는 크기로요.

로컬 AI가 뭐냐면, 클라우드 API를 쓰지 않고 내 컴퓨터(또는 회사 서버)에서 직접 모델을 돌리는 거예요. Ollama, LM Studio, llama.cpp 같은 도구를 쓰면 명령어 몇 줄로 30B(300억 파라미터) 정도의 모델을 띄울 수 있어요. M3 Max 맥북이나 RTX 4090 한 장이면 충분하죠. 한 번 하드웨어를 사두면 그 다음부터는 전기료만 들어가니까, 토큰을 아무리 써도 추가 비용이 없다는 게 가장 큰 장점이에요.

글에서 강조하는 또 하나의 포인트는 "라우팅(routing)" 이에요. 들어온 요청의 난이도를 먼저 판단해서, 쉬운 건 로컬 모델로, 어려운 건 프론티어 모델로, 그것도 안 되는 건 사람한테 보내는 계층 구조를 만드는 거예요. 콜센터의 1차/2차/상담사 에스컬레이션 구조와 똑같은 원리예요. 이렇게 하면 비싼 자원은 정말 필요할 때만 쓰니까 평균 비용이 확 떨어져요.

그런데 왜 "사람 외주"가 다시 등장할까

이게 좀 역설적인데요, AI가 발전할수록 "AI가 못 하는 일"의 가치가 오히려 올라가요. 예를 들면 도메인 전문 지식이 필요한 의료 차트 정리, 미묘한 뉘앙스를 잡아야 하는 번역, 윤리적 판단이 필요한 콘텐츠 검수 같은 거요. 이런 일은 프론티어 AI도 자주 틀리는데, 그 오류를 잡아내려면 결국 사람이 봐야 하거든요.

그렇다면 "프론티어 AI에 비싼 돈 내고 틀린 답 받아서 사람이 검수하는 것"보다 "싼 로컬 모델로 1차 처리하고, 애매한 건 처음부터 사람한테 보내는 것"이 더 효율적일 수 있다는 게 글의 주장이에요. Scale AI, Surge AI 같은 데이터 라벨링 회사들이 여전히 성장하고 있는 이유도 여기 있어요.

업계 흐름과 한국 상황

이런 움직임은 이미 현실로 나타나고 있어요. Cursor, Cline, Aider 같은 코딩 에이전트들이 "로컬 모델 + 클라우드 모델 혼합 모드"를 지원하기 시작했고, Apple도 온디바이스 AI에 집중하고 있죠. 엔터프라이즈 쪽에서는 "데이터를 외부 API로 보내면 안 된다"는 보안 요구 때문에 로컬 AI 수요가 폭발하고 있어요.

한국 개발자 입장에서 이게 왜 중요하냐면, 첫째로 개인 사이드 프로젝트의 진입장벽이 낮아져요. API 비용 무서워서 못 만들던 AI 서비스를 로컬 모델로 프로토타이핑해볼 수 있거든요. 둘째로, 회사에서 AI 도입을 고민할 때 "무조건 GPT API"가 정답이 아니라는 걸 알아둬야 해요. 워크로드 특성에 따라 로컬 + API 하이브리드가 훨씬 합리적인 경우가 많아요. 셋째로, Ollama, vLLM, LiteLLM 같은 도구를 미리 익혀두면 앞으로 1~2년 안에 분명히 쓸 일이 생길 거예요.