세바스티안 라슈카가 자신의 아키텍처 노트에서 정리한 Kimi K3는 어제 공개된 대형 오픈웨이트 모델이다. 그가 강조하는 핵심은 이 모델이 완전히 새로운 설계가 아니라, 지난해 나온 Kimi Linear를 프로덕션 규모로 키운 결과물이라는 점이다. 파라미터 규모는 48B에서 2.8T로 확장됐고, 현재 공개된 오픈웨이트 모델 가운데 가장 크다. 구조도만 보면 복잡해 보이지만, 실제로는 기존 설계 언어를 대규모로 스케일업한 것에 가깝다. 실무자 입장에서 이 점은 중요하다. 검증되지 않은 실험적 구조가 아니라, 이미 소규모에서 돌려본 아키텍처를 그대로 밀어 올린 것이므로 위험 대비 예측 가능성이 상대적으로 높기 때문이다.
효율을 향한 부품 교체
Kimi K3 설계의 큰 흐름은 추론 효율성 개선이다. 라슈카는 이 경향이 Nemotron 3나 DeepSeek V4 같은 최신 모델과도 공통된다고 본다. 방식은 단순하다. 기존 구성 요소를 효율에 맞게 손질한 버전으로 교체하는 것이다. 일반 MoE는 LatentMoE로, 통상적인 어텐션은 멀티헤드 라텐트 어텐션과 Kimi Delta Attention으로 대체됐다. Kimi Linear 대비 새로 추가된 유일한 구성 요소가 바로 LatentMoE인데, 이는 Nemotron 3 Ultra에 쓰인 것과 본질적으로 같다. 핵심 아이디어는 멀티헤드 라텐트 어텐션이 어텐션 차원을 압축하듯, 큰 선형 계층을 다운-프로젝션해 압축하는 것이다. 결국 여러 부품이 저마다 파라미터와 연산을 줄이는 방향으로 재설계돼, 거대한 규모에도 불구하고 서빙 비용을 억제하려는 의도가 읽힌다.
효율이 아닌 유일한 변화, 어텐션 잔차
이 모든 교체 중에서 효율 개선이 목적이 아닌 예외가 하나 있다. 바로 어텐션 잔차(attention residuals)다. DeepSeek V4가 mHC(manifold-constrained Hyper-Connections)로 잔차 경로를 넓혀 개선한 것과 비슷한 목적을 갖지만, 작동 방식은 다르다. mHC가 잔차 경로 자체를 넓혔다면, 어텐션 잔차는 계층을 가로질러 잔차를 연결하고 그 연결의 기여 가중치를 어텐션 점수로 결정한다. 이 역시 Kimi Linear에서 이미 쓰이던 방식이다. 기술 보고서에 따르면 검증 손실과 다운스트림 성능을 일관되게, 다만 소폭 개선하며, 대가로 학습 비용은 약 4%, 추론 비용은 약 2% 늘어난다. 성능 상승폭이 크지 않다는 점을 감안하면, 이 선택은 절대적 정확도보다 안정적이고 일관된 개선을 노린 보수적인 판단으로 볼 수 있다.
위치 임베딩을 전부 걷어낸 결정
가장 눈에 띄는 대목은 Kimi K3가 RoPE 계층을 전부 없애고 모든 곳에서 NoPE(위치 임베딩 없음)를 쓴다는 점이다. 이 또한 Kimi Linear에서 물려받은 특성이다. 최근 다른 아키텍처의 흐름은 슬라이딩 윈도우 같은 국소 어텐션 계층에는 RoPE를, 전역 계층에는 NoPE를 쓰는 혼합 방식이었다. NoPE만 전면적으로 쓰는 사례가 아주 없지는 않았지만, 라슈카가 아는 한 프런티어급 모델에서 이렇게 한 것은 Kimi K3가 처음이다. 위치 정보를 명시적 임베딩 없이 처리하겠다는 이 결정은, 긴 문맥 일반화와 구조 단순화 측면에서 앞으로 다른 팀들이 참고할 만한 실험적 신호로 읽힌다.
여기에 더해 Kimi K3는 네이티브 멀티모달을 지원한다. 별도 어댑터를 얹는 방식이 아니라 처음부터 멀티모달을 염두에 둔 설계라는 점에서, 활용 범위를 넓히려는 의도가 분명하다. 기술 보고서에는 아키텍처 외에도 학습과 관련한 흥미로운 세부 사항이 더 있다고 라슈카는 언급했지만, 이번 노트는 구조에 초점을 맞췄다.
한국 실무자 관점에서 정리하면, Kimi K3는 급진적 혁신보다 '검증된 설계의 대규모 확장'과 '효율 중심 부품 교체'라는 두 축으로 요약된다. 2.8T라는 규모는 자체 서빙 부담이 크지만, LatentMoE와 라텐트 어텐션 계열의 압축 설계가 이를 완화하도록 짜여 있다. 다만 어텐션 잔차의 이득이 '소폭'에 그친다는 점, NoPE 전면 채택이 아직 프런티어급에서 첫 사례라는 점은 실제 워크로드에서 직접 검증이 필요한 부분이다. 도입을 검토한다면 벤치마크 수치보다 자사 데이터에서의 긴 문맥 안정성과 서빙 비용을 먼저 확인하는 편이 현실적이다.