토큰을 아껴 쓰는 오픈소스 코딩 모델, Kimi K2.7-Code가 나왔어요

요즘 AI한테 코딩을 시켜본 분들이라면 공통적으로 느끼는 게 하나 있을 거예요. '결과는 좋은데, 토큰이 너무 많이 든다'는 거죠. 중국 AI 스타트업 문샷AI(Moonshot AI)가 이 문제를 정면으로 겨냥한 오픈소스 코딩 모델, Kimi K2.7-Code를 Hugging Face에 공개했어요. 핵심 키워드는 '토큰 효율'이에요. 성능 자랑이 아니라 효율을 전면에 내세웠다는 점이 지금 AI 업계의 흐름을 잘 보여주는데요, 왜 그런지 차근차근 풀어볼게요.

토큰 효율이 왜 그렇게 중요하냐면

토큰이 뭐냐면, AI 모델이 글을 읽고 쓰는 최소 단위예요. 대략 단어 조각 하나라고 생각하면 되는데, AI API는 이 토큰 개수만큼 비용을 청구하거든요. 그런데 요즘 코딩 AI는 질문 하나에 답 하나를 주고 끝나는 방식이 아니에요. 에이전트 방식으로 동작하죠. 이게 뭐냐면, 모델이 코드를 쓰고, 직접 실행해보고, 에러 메시지를 읽고, 고치고, 다시 실행하는 과정을 혼자서 수십 번씩 반복하는 거예요. 사람이 옆에서 일일이 시키지 않아도요. 문제는 이 반복 과정에서 토큰이 어마어마하게 소모된다는 거예요. 특히 '생각하는 과정'을 길게 출력하는 추론 모델들은 간단한 버그 하나 고치는 데도 장문의 사고 과정을 쏟아내곤 하거든요. 같은 작업을 절반의 토큰으로 해내는 모델이 있다면 API 비용이 절반이 되고 응답 속도도 빨라진다는 뜻이에요. 에이전트를 하루 종일 돌리는 환경에서는 이 차이가 그대로 인프라 비용 차이로 이어지죠.

Kimi K2 계보, 어떤 모델인가

문샷AI의 Kimi K2 시리즈는 오픈 웨이트 진영에서 손꼽히는 대형 모델이에요. 오픈 웨이트가 뭐냐면, 모델이 학습한 결과물인 가중치 파일을 누구나 내려받아 쓸 수 있게 공개하는 방식이에요. K2 계열은 MoE(Mixture of Experts) 구조를 쓰는데, 이건 거대한 모델 전체를 매번 다 돌리는 게 아니라 질문에 따라 필요한 '전문가' 부분만 골라서 활성화하는 방식이에요. 병원에 가면 모든 의사를 만나는 게 아니라 내 증상에 맞는 진료과만 가잖아요? 그런 식이라 전체 덩치는 크지만 실제 연산량은 훨씬 적게 유지할 수 있어요. K2.7-Code는 이 계보에서 코딩 작업에 특화해 다듬은 버전으로, 불필요하게 장황한 출력을 줄이고 도구 호출(코드 실행이나 파일 수정 같은 작업 명령)을 더 간결하게 수행하는 방향으로 개선된 게 특징이에요.

오픈소스 코딩 모델 경쟁 구도

지금 오픈 웨이트 코딩 모델 판은 그야말로 격전지예요. DeepSeek 시리즈가 저비용 고성능으로 판을 흔들었고, 알리바바의 Qwen Coder 시리즈, Zhipu의 GLM 계열도 빠르게 따라붙고 있죠. 흥미로운 건 이 경쟁의 축이 '벤치마크 점수 몇 점'에서 '실제 에이전트로 썼을 때 비용 대비 얼마나 일을 잘하느냐'로 옮겨가고 있다는 거예요. Claude 같은 폐쇄형 최상위 모델들이 품질에서는 여전히 앞서 있지만, 오픈 모델들은 '충분히 좋은 품질을 훨씬 싸게'라는 포지션으로 파고들고 있거든요. 토큰 효율을 전면에 내세운 K2.7-Code의 등장은 이 흐름이 어디로 가는지 잘 보여주는 사례예요.

한국 개발자에게 주는 시사점

실무 관점에서 보면 선택지가 하나 늘어난 거예요. Cline이나 OpenCode 같은 오픈소스 코딩 에이전트 도구들은 모델을 갈아 끼울 수 있게 되어 있어서, API 제공 업체를 통해 K2.7-Code를 연결해 써볼 수 있어요. 반복적인 코드 수정이나 테스트 작성처럼 양은 많지만 난이도가 아주 높지는 않은 작업에는 비용 효율적인 모델을 쓰고, 어려운 설계 문제에만 최상위 모델을 쓰는 '모델 믹스' 전략도 현실적인 선택이 됐고요. 다만 직접 서버에 올려 쓰는 셀프호스팅은 만만치 않아요. 이 정도 크기의 MoE 모델은 고성능 GPU가 여러 장 필요하니까, 개인이나 작은 팀이라면 호스팅된 API를 쓰는 게 현실적이에요.