오픈소스 LLM 추론·서빙 엔진인 vLLM이 v0.28.0을 내놓았다. vLLM은 대규모 언어모델을 실제 서비스 환경에서 빠르고 효율적으로 돌리기 위한 엔진으로, PagedAttention 기반의 KV 캐시 관리와 연속 배칭(continuous batching) 등으로 GPU 활용도를 끌어올린 것으로 잘 알려져 있다. 국내에서도 자체 모델이나 오픈 웨이트 모델을 사내에 배포하려는 팀들이 사실상 표준처럼 채택하고 있어, 마이너 버전 하나하나가 운영 현장에 곧바로 영향을 준다.
이번 릴리스에서 먼저 눈에 띄는 것은 규모다. 270명의 기여자가 참여했고 그중 76명이 이번에 처음 합류했으며, 총 584개의 커밋이 반영됐다. 하나의 마이너 버전에 이 정도의 인원과 변경이 모였다는 사실은 vLLM이 소수 핵심 개발자에 의존하는 프로젝트를 넘어 폭넓은 커뮤니티가 지속적으로 밀어붙이는 인프라 소프트웨어로 자리 잡았음을 보여준다. 신규 기여자 비중이 4분의 1을 넘는다는 점은 진입 장벽이 낮아지고 생태계가 계속 확장되고 있다는 신호이기도 하다.
Kimi-K3를 겨냥한 전방위 최적화
릴리스가 스스로 첫 번째 하이라이트로 꼽은 것은 Kimi-K3 모델에 대한 성능 개선이다. 특정 모델을 지목해 "스택 전반(across the stack)"에 걸쳐 최적화했다고 밝힌 대목이 핵심인데, 이는 특정 커널 한두 개를 손보는 수준이 아니라 스케줄링, 메모리 관리, 병렬화 전략까지 여러 계층을 함께 조정했다는 의미로 읽힌다. 최근 대형 오픈 웨이트 모델들이 파라미터 규모와 컨텍스트 길이를 빠르게 키우면서, 엔진 입장에서는 범용 최적화만으로는 특정 대형 모델의 병목을 다 잡아내기 어려워졌다. 그래서 유력 모델을 정조준해 튜닝하는 방식이 점점 흔해지고 있다.
그중 구체적으로 언급된 항목이 디코드 컨텍스트 병렬(Decode Context Parallel, DCP)이다. 컨텍스트 병렬화는 긴 입력 시퀀스와 그에 따라 커진 KV 캐시를 여러 장치에 나눠 처리하는 기법으로, 특히 컨텍스트가 길어질수록 부담이 커지는 디코딩 단계의 지연과 메모리 압박을 완화하는 데 초점을 둔다. 긴 문서 요약이나 대용량 코드베이스 분석처럼 입력이 방대한 워크로드에서 이런 병렬화가 처리량과 응답 지연 개선으로 이어질 여지가 있다.
업그레이드를 고려하는 팀이라면
실무 관점에서 이번 버전은 두 가지로 접근할 수 있다. 첫째, Kimi 계열 대형 모델을 서빙하거나 검토 중인 팀이라면 이번 최적화가 직접적인 이득이 될 가능성이 높으므로 자사 워크로드에서 처리량과 지연을 실측해 볼 가치가 있다. 둘째, 다른 모델을 쓰는 팀이라도 584개 커밋에는 특정 모델과 무관한 공통 개선과 버그 수정이 다수 포함됐을 것이므로 변경 이력을 살펴볼 필요가 있다. 다만 대규모 변경이 들어간 버전일수록 기존 배포 구성과의 호환성, 성능 회귀 여부를 스테이징 환경에서 먼저 검증한 뒤 프로덕션에 올리는 것이 안전하다.
한 가지 유의할 점은, 공개된 릴리스 노트 발췌 자체가 상단 하이라이트 부분에서 잘려 있어 전체 변경 목록과 세부 수치를 이 글만으로는 확인하기 어렵다는 것이다. DCP를 비롯한 나머지 최적화 항목의 구체적 성능 수치나 지원 범위, 주의사항은 공식 릴리스 페이지와 커밋 로그를 직접 확인하는 편이 정확하다. 특히 병렬화 전략은 하드웨어 구성과 텐서·파이프라인 병렬 설정에 따라 효과 편차가 크므로, 벤치마크 수치를 그대로 받아들이기보다 자신의 운영 조건에서 재현해 보는 태도가 중요하다.