엔비디아 Nemotron 3.5 Lightning: RTX 한 장으로 돌리는 에이전트 모델, 그리고 '모델 함대'의 시대

엔비디아가 오픈 모델 라인업에 새 식구 둘을 공개했어요. 하나는 로컬 PC에서 돌아가는 14B(140억 파라미터) 모델 'Nemotron 3.5 Lightning'이고, 다른 하나는 여러 모델을 하나의 시스템처럼 굴리는 오케스트레이션 도구 'NeMo Switchyard'예요. 따로 보면 평범한 릴리스 같지만, 둘을 합쳐 보면 엔비디아가 그리는 그림이 꽤 선명하게 보이거든요. “가벼운 일은 내 PC의 RTX가, 무거운 일은 클라우드가” 하는 하이브리드 에이전트 구조요.

Lightning: 작지만 에이전트 일에 특화된 14B

Lightning은 플래그십인 Nemotron 3.5에서 증류(distillation)한 모델이에요. 증류가 뭐냐면, 큰 모델(선생님)의 출력을 작은 모델(학생)이 따라 배우게 해서 크기는 줄이되 능력은 최대한 유지하는 기법이거든요. 아키텍처는 Mamba와 Transformer를 섞은 하이브리드인데요. Transformer의 어텐션은 문맥이 길어질수록 계산량이 급격히 불어나는 반면, Mamba 계열은 상태를 압축해서 들고 가기 때문에 긴 문맥 처리에 유리해요. 이 조합 덕에 100만 토큰 컨텍스트를 지원하면서도 4비트 양자화 기준 16GB VRAM이면 돌아가요. RTX 5090에서는 초당 약 180토큰이 나온다고 하고요.

벤치마크 포지셔닝이 흥미로운데, 일반 지식 문제보다 에이전트 능력에 초점을 맞췄어요. 도구 호출 벤치마크인 BFCL v4와 tau-bench에서, 자기보다 두 배 이상 큰 Qwen3-32B와 비슷하거나 더 나은 점수를 내면서 속도는 약 2.3배 빠르다는 주장이에요. '추론 예산(reasoning budget)' 제어 토큰도 들어갔는데, 모델이 생각하는 데 쓰는 토큰 수에 개발자가 상한선을 걸 수 있는 기능이에요. 에이전트가 사소한 판단에 한참 고민하느라 지연 시간이 튀는 걸 막을 수 있죠. 학습 쪽도 꽤 열려 있어요. Blackwell 세대의 NVFP4 정밀도로 학습했고, 데이터셋(Nemotron-CC-v3와 합성 도구 사용 코퍼스)과 사후 학습 코드까지 공개했어요. 라이선스는 상업적 이용이 가능한 NVIDIA Open Model License예요.

Switchyard: 모델 하나가 아니라 '함대'를 굴린다

Switchyard는 발상이 재미있어요. 이제 모델을 하나만 쓰는 게 아니라 여러 개를 함대(fleet)처럼 운영하자는 거거든요. 요청이 들어오면 작업 복잡도 분류기가 판단해서, 간단한 대화는 로컬의 Lightning으로, 어려운 코딩 작업은 클라우드의 플래그십으로 보내는 식이에요. 설정은 선언형 YAML로 하고(“코드 작업은 nemotron-3.5로, 채팅은 lightning으로” 같은 규칙), 자동 폴백과 KV 캐시를 고려한 스케줄링까지 들어 있어요. NIM 마이크로서비스와 통합되고, NeMo 26.02에 포함되어 깃허브에 오픈소스로 풀려요.

업계 흐름에서 보면

모델 라우팅 자체는 새 아이디어가 아니에요. RouteLLM 같은 오픈소스 라우터나 각 API 업체들의 자동 모델 선택 기능이 이미 같은 방향을 가리키고 있었죠. 다만 엔비디아가 이걸 로컬 GPU와 묶어서 공식 스택으로 내놨다는 게 포인트예요. 결국 “에이전트를 돌리려면 RTX가 달린 PC나 DGX Spark가 필요하다”는 하드웨어 판매 전략과 정확히 맞물리거든요. 오픈 모델을 계속 무료로 푸는 이유도 결국 자사 칩 생태계를 키우기 위한 것이고요.

한국 개발자에게는 두 가지 포인트가 있어요. 첫째, 보안이나 규제 때문에 데이터를 외부로 못 보내는 온프레미스 요구가 많은 국내 기업 환경에서, 16GB VRAM으로 도구 호출을 잘하는 모델은 꽤 실용적인 선택지예요. 둘째, 모든 요청을 제일 비싼 모델로 보내는 구조는 비용 면에서 오래 못 가요. 복잡도 기반 라우팅은 Switchyard를 안 쓰더라도 설계 패턴으로 배워둘 가치가 충분해요.

한 줄 정리: 엔비디아는 '더 큰 모델'이 아니라 '내 GPU에서 도는 적당한 모델 + 똑똑한 라우팅'을 다음 단계로 제시했어요. 여러분이라면 지금 맡기고 있는 에이전트 워크로드 중 몇 퍼센트나 로컬 14B 모델에게 넘길 수 있을 것 같으세요?