긴 맥락을 다루는 에이전트 워크플로가 일반화되면서, 대규모 언어 모델 운영의 병목은 연산에서 점점 저장과 데이터 이동으로 옮겨가고 있다. 도구 호출이 늘고 컨텍스트가 길어질수록 KV 캐시가 HBM은 물론 호스트 메모리와 SSD까지 잠식하고, 접두어(prefix) 재사용을 위해 이를 지속적으로 보관하고 옮기는 비용이 서비스 처리량과 배포 단가를 좌우한다. DeepSeek가 공개한 기술 보고서 《DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression》은 바로 이 지점을 정면으로 겨냥한다. 이름은 소수점 업데이트처럼 보이지만, 아키텍처 변화의 폭을 보면 사실상 새로운 세대에 가깝다는 것이 원저자의 평가다.
무엇이 달라졌나
DeepSeek-V4.1-Flash는 552B 규모의 멀티모달 MoE 모델로, 최대 100만 토큰 컨텍스트를 지원한다. 핵심은 인과적 인코더-디코더(CED) 구조다. 디코더가 사용하는 전역 KV를 인코더의 최종 은닉 표현에서 투영해 얻고, 이후 디코더 층들이 이 KV를 공유한다. 그 결과 긴 프롬프트의 대부분 위치는 앞쪽 20개 층만 통과하면 되고, 토큰당 활성 파라미터는 프리필 단계에서 약 8B, 디코딩 단계에서 약 16B에 그친다. 입력이 지배적인 에이전트 시나리오에서 특히 유리한 설계로, 실측 속도는 초당 약 420토큰에 이르렀다고 한다.
압축의 실질적 성과는 수치로 드러난다. 이전 세대인 DeepSeek-V4-Flash보다 모델 규모 자체는 훨씬 크지만, 같은 시퀀스 길이에서 런타임 KV 캐시 저장량은 약 4분의 1, 접두어 재사용을 위해 지속 보관하는 KV 저장량은 약 8분의 1 수준이다. FP4 양자화를 결합하면 전역 주요 KV와 인덱서를 합친 저장 증가폭이 토큰당 약 890바이트까지 내려간다. 저자는 이를 KVCache를 중심에 두고 다시 그리면 사실상 Q를 수정하고 KV를 재사용하는 재귀형 트랜스포머로 이해할 수 있다고 설명한다.
CSA2와 어텐션 재설계
기존 DeepSeek-V4는 슬라이딩 윈도 어텐션(SWA)을 뼈대로 삼고 전역 압축 어텐션으로 보강하는 구조였다. 이번에는 블록 기반의 고압축 구조인 HCA를 버리고, 대신 CSA를 다듬은 CSA2에 집중했다. CSA2는 크기 128의 지역 슬라이딩 윈도, 전역 희소 검색, 그리고 층 간 KV 캐시 재사용을 결합해 세 방향에서 캐시를 줄인다. 저압축 블록 구조를 포기하고 검색 기반 전역 어텐션을 강화한 선택은, 맹목적인 압축률보다 과제 완수 품질을 유지하는 쪽에 무게를 둔 결정으로 읽힌다. 실제로 이 모델은 100만 토큰 범위 안에서 연산량이 거의 선형으로 증가한다.
시각 처리 경로
멀티모달 입력 처리도 눈여겨볼 만하다. ViT는 고해상도 특징에 대해 이미지 내부 상호작용을 먼저 끝낸 뒤, 인접한 9개 특징을 하나의 넓은 벡터로 재배열해 다운샘플링하고, 2층 MLP로 언어 백본의 입력 공간(hidden_dim 5120)에 맞춰 투영한다. 주목할 점은 OCR 같은 문자 인식을 수행하지 않고 이미지를 그대로 디코딩한다는 것, 그리고 해상도가 vision_max_n_token=1024 예산에 의해 제약된다는 것이다. 예컨대 보고서가 말하는 약 1344×1344픽셀 지원도 이 예산 안에서 스케일 조정을 거치며, 특정 이미지는 태그를 포함해 994토큰, 흔한 화면 해상도는 968토큰 수준으로 정리된다.
또 하나의 실무적 장치는 MoE의 보조 손실 없는 부하 균형을 텍스트와 이미지에 대해 분리했다는 점이다. 두 모달리티의 표현 분포가 다르면 전문가 라우팅 선호도 달라지는데, 이를 합쳐서 균형을 맞추면 각 모달리티 내부의 불균형이 가려질 수 있다. 그래서 모달리티별로 별도의 전문가 보정 편향을 유지하고 학습 스텝마다 독립적으로 갱신해, 모달리티 내부의 전문가 사용을 고르게 만든다.
실무 관점의 의미와 한계
한국의 실무자 입장에서 이 보고서의 시사점은 분명하다. 장기 에이전트 워크플로에서 진짜 비용은 파라미터 규모보다 KV 캐시의 저장·이동에서 발생하며, 캐시 지속 저장량을 8분의 1로 줄이는 설계는 SSD와 호스트 메모리 압박, 상호연결 대역폭 요구를 직접 완화한다. 다만 이 글에서 확인 가능한 것은 아키텍처 설계 원리와 압축 수치에 국한된다. 공개된 발췌에는 층 수, 은닉 차원, 어휘 크기, Q 헤드 수, 랭크 값 등 상당수 구체적 파라미터가 빠져 있고, 벤치마크로 뒷받침되는 품질 비교나 재현 결과도 제시되지 않았다. 전반 성능이 이전 세대보다 낫다는 서술 역시 보고서의 주장 단계이므로, 실제 도입을 검토한다면 자체 워크로드에서의 검증이 전제되어야 한다.