초대형 오픈 모델이 API로 내려왔어요
Moonshot AI라는 회사, Kimi라는 이름으로 기억하시는 분들 많을 텐데요. 오픈웨이트 모델 Kimi K2로 눈도장을 찍었던 그 팀이에요. 그 후속작인 Kimi K3가 이번에 Telnyx의 Inference API에 올라왔어요. Telnyx는 원래 전화·통신 API로 유명한 미국 회사인데, 자체 GPU 인프라에서 오픈 모델을 서빙하는 인퍼런스 사업도 같이 하고 있거든요. 이번 소식이 의미 있는 건, 개인이 도저히 직접 돌릴 수 없는 크기의 오픈 모델을 누구나 API 호출 한 줄로 쓸 수 있게 됐다는 점이에요.
Kimi K3, 스펙부터 볼까요
K3는 총 1.2조(1.2T) 파라미터의 MoE 모델이에요. MoE가 뭐냐면 'Mixture of Experts', 그러니까 모델 안에 전문가 네트워크를 여러 개 두고, 입력이 들어올 때마다 라우터가 필요한 전문가 몇 명만 깨워서 일을 시키는 구조예요. 그래서 총 파라미터는 1.2조나 되지만 토큰 하나를 처리할 때 실제로 계산에 참여하는 건 약 400억(40B) 개 수준이에요. 덩치는 크게 키우면서 추론 비용은 중형 모델 수준으로 억제하는, 요즘 대형 모델의 표준 전략이죠.
컨텍스트 윈도우는 512K 토큰이에요. 책 여러 권이나 코드베이스 상당 부분을 통째로 넣고 대화할 수 있는 크기죠. 그리고 'interleaved thinking'이라고 해서, 모델이 답하기 전에 중간중간 추론 과정을 거치는 기능을 요청 단위로 켜고 끌 수 있어요. 벤치마크 쪽에서는 SWE-bench Verified 같은 코딩·에이전트 평가에서 폐쇄형 프런티어 모델들과 견줄 만한 성적을 낸다고 소개되고 있고요. 무엇보다 수정 MIT 라이선스의 오픈웨이트 모델이라는 게 커요. 가중치가 공개돼 있으니 원하면 직접 받아서 돌릴 수도 있다는 뜻이거든요.
Telnyx에서는 어떻게 쓰나요
OpenAI 호환 엔드포인트라서, 기존에 OpenAI SDK를 쓰던 코드에서 base URL과 모델명('moonshotai/kimi-k3')만 바꾸면 그대로 동작해요. 스트리밍, 함수 호출(function calling), JSON 스키마 기반 구조화 출력, 프롬프트 캐싱까지 지원하고요. 가격은 입력 100만 토큰당 0.60달러, 출력 100만 토큰당 2.50달러, 캐시된 입력은 0.15달러예요. 폐쇄형 프런티어 모델 대비 확실히 저렴한 축이라, 토큰을 많이 태우는 에이전트 워크로드를 겨냥한 포지셔닝이에요. Telnyx는 자기네 통신망과 같은 인프라에 모델을 올려뒀다는 점을 내세우면서, 지연 시간이 중요한 음성 AI 에이전트의 두뇌로 K3를 쓰는 시나리오도 밀고 있어요. 전화 응대 봇 같은 걸 만들 때 네트워크 왕복을 줄일 수 있다는 거죠.
업계 흐름에서 보면
DeepSeek, Qwen, Llama 계열이 이끌어온 오픈웨이트 진영이 폐쇄형 모델과의 격차를 계속 좁혀왔는데, K3도 그 연장선에 있어요. 그리고 이런 초대형 오픈 모델은 사실 '오픈'이어도 개인이나 중소팀이 직접 호스팅하기는 어렵거든요. 1.2조 파라미터면 GPU 클러스터가 통째로 필요하니까요. 그래서 가중치는 공개하되 서빙은 여러 인퍼런스 제공자들이 경쟁하는 생태계가 같이 커지고 있어요. 모델 개발사 입장에서는 채택을 넓히고, 사용자 입장에서는 제공자를 골라 쓰는 구조인 거예요.
우리는 뭘 해볼 수 있을까요
에이전트나 코딩 자동화에 API 비용이 부담이었다면 K3 같은 오픈 모델 API가 현실적인 대안이 될 수 있어요. OpenAI 호환이라 갈아타는 비용도 거의 없고, 프롬프트 캐싱을 잘 쓰면 반복 호출이 많은 에이전트에서 비용이 더 내려가요. 다만 프롬프트와 데이터가 외부 인프라를 거치는 건 마찬가지니, 민감한 데이터라면 처리 리전과 보관 정책은 확인해야 하고요. 장기적으로는 공개된 가중치를 받아 자체 인프라에 올리는 선택지가 열려 있다는 것 자체가 특정 벤더에 묶이지 않는 협상력이 되기도 해요.
한 줄 정리: 프런티어급 성능의 오픈웨이트 모델을 저렴한 호스티드 API로 쓰는 시대가 성큼 왔다. 여러분은 에이전트 백엔드로 폐쇄형 모델과 오픈 모델 중 뭘 고르시겠어요? 선택 기준이 궁금해요!
🔗 출처: Hacker News