코딩 특화 AI 서비스 Kimi Code가 새로운 모델 옵션인 'k3-256k'를 정식 제공하기 시작했다. Kimi Code는 현재 Kimi K3와 Kimi K2.7 Code 두 계열의 모델을 네 개의 모델 ID로 나누어 제공하는데, 사용자는 클라이언트나 서드파티 도구에서 모델 ID를 지정하는 방식으로 원하는 모델을 선택한다. 이번에 추가된 k3-256k는 기존 100만(1M) 토큰 컨텍스트를 지원하던 k3의 축소판 격으로, 256k 토큰 범위 안에서는 동일한 품질의 결과를 내면서 쿼터 소모는 절반 수준으로 줄인 것이 핵심이다.
언제 256k로 충분한가
문서에 따르면 k3(1M)는 k3-256k에 비해 약 두 배의 쿼터를 소모한다. 바꿔 말하면 256k 컨텍스트로 감당할 수 있는 작업이라면 굳이 1M 모델을 쓰지 않는 편이 비용 효율적이다. Kimi Code는 k3-256k를 일상적인 질의응답, 코드 자동완성, 통상적인 기능 개발, 단일 파일이나 소규모 파일 편집에 적합한 모델로 소개한다. 대부분의 실무 코딩 작업이 이 범주에 들어간다는 점을 감안하면, 기본값을 256k로 두고 대규모 코드베이스를 통째로 물려야 하는 상황에서만 1M으로 올리는 운용이 합리적이다. 다만 k3-256k는 비디오 입력을 지원하지 않으므로, 영상 자료를 함께 다루는 워크플로에서는 선택지에서 제외해야 한다.
모델을 바꿀 때 벌어지는 일
실무자가 반드시 이해해야 할 부분은 모델 전환 시의 컨텍스트 처리다. 1M에서 256k로 내려갈 때, 현재 세션의 컨텍스트가 이미 256k를 넘어선 상태라면 Kimi Code CLI나 Claude Code 같은 일부 도구는 도구 측에서 자동으로 컴팩트(compact), 즉 대화 이력 압축을 수행한다. 도구마다 이 처리 방식이 다르기 때문에, 문서는 전환 전에 수동으로 한 번 컴팩트를 실행해 컨텍스트를 256k 이하로 줄여둘 것을 권한다. 이렇게 하면 작업의 핵심을 보존하면서 세션을 유지할 수 있고, 전환 후 더 오래 가는 쿼터의 이점도 온전히 누릴 수 있다. 특히 대화 이력에 비디오 파일이 포함돼 있다면 k3-256k가 영상 입력을 지원하지 않으므로 곧바로 전환하면 실패한다. 이 경우에는 먼저 컴팩트로 영상 관련 내용을 정리한 뒤 전환해야 한다.
반대로 256k에서 1M으로 올라갈 때는 상황이 다르다. k3-256k가 256k 한계에 근접해 있고 컴팩트로 정보를 잃고 싶지 않다면, 압축 없이 바로 1M으로 전환하면 된다. 현재 버전 기준으로 256k에서 1M으로의 전환은 캐시에 영향을 주지 않는다고 명시돼 있다. 즉 정보 손실이 걱정되는 무거운 세션일수록 상향 전환이 안전한 선택인 셈이다.
캐시 재프리필이라는 숨은 비용
전환의 편의 뒤에는 캐시 문제가 숨어 있다. 모델을 바꾸면 이전에 쌓아둔 컨텍스트 캐시가 새 모델에서는 더 이상 적중(hit)하지 않기 때문에, 해당 컨텍스트를 다시 프리필(pre-fill)해야 한다. 그 결과 전환 직후에는 사용량이 평소보다 높게 잡힌다. 이는 모델 전환뿐 아니라 추론 강도(reasoning effort)를 바꿀 때도 마찬가지로, 캐시가 무효화되어 재프리필이 일어난다. 따라서 모델이나 추론 강도를 자주 오가는 습관은 그 자체로 비용을 키운다. 앞서 언급된 256k→1M 전환이 캐시에 영향을 주지 않는다는 예외를 제외하면, 전환은 되도록 작업 단위로 묶어 빈도를 줄이는 편이 유리하다.
요금제와 연동, 그리고 남은 정보
어떤 모델과 컨텍스트 윈도, 속도를 쓸 수 있는지는 가입한 멤버십 요금제에 따라 달라진다. 요청한 기능이 요금제 권한을 초과하면 서버는 401 오류를 반환하며, 문서는 이런 상황을 세 가지 대표 사례로 구분하지만 전체 오류 문구와 대응법은 별도의 오류 레퍼런스로 미뤄두고 있다. 연동 측면에서 Kimi Code API는 OpenAI 프로토콜과 Anthropic 프로토콜을 모두 지원하므로, 기존 도구 설정을 크게 바꾸지 않고도 붙일 여지가 넓다. 실제 연결은 도구에서 모델 ID를 대상 모델로 지정하는 방식이며, K3는 K2.7 Code와 설정이 조금 다르니 사용 전 확인이 필요하다는 안내가 붙어 있다.
정리하면 이번 발표의 실무적 함의는 분명하다. 대부분의 코딩 작업에는 절반의 쿼터로 같은 품질을 내는 256k를 기본으로 쓰고, 초대형 컨텍스트가 필요할 때만 1M으로 올리되 전환 방향과 시점을 캐시·컴팩트 특성에 맞춰 관리하라는 것이다. 다만 문서 자체가 오류 상세와 요금제별 구체적 권한, 정확한 베이스 URL 같은 핵심 세부는 별도 페이지로 넘겨두고 있어, 실제 도입 전에는 해당 레퍼런스를 함께 확인해야 한다는 한계가 남는다.