AI의 무게중심이 대화형 챗봇에서 스스로 작업을 수행하는 자율 에이전트로 옮겨가면서, 어디서 어떤 모델을 돌릴지에 대한 통제권이 실무의 핵심 변수가 되고 있다. 엔비디아가 이번에 공개한 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)과 오픈소스 라우팅 라이브러리 NeMo 스위치야드는 바로 이 통제권을 겨냥한 조합이다. 하나는 상시 가동되는 에이전트의 반복 작업을 값싸고 빠르게 처리할 경량 모델이고, 다른 하나는 여러 모델을 상황에 맞게 골라 쓰도록 요청을 자동으로 배분하는 도구다.
30B MoE 경량 모델의 자리
네모트론 3.5 라이트닝은 300억 파라미터 규모의 전문가 혼합(MoE) 구조 개방형 모델로, 네모트론 3 나노에 이어 네모트론 3 제품군에 추가됐다. 엔비디아는 이 모델을 '동종 최고 효율'로 소개하며, 동급 다른 모델 대비 최대 4배 빠른 출력 속도와 30% 빠른 에이전트 작업 완료를 제시했다. 다만 여기서 놓치지 말아야 할 전제는 이 수치가 '동급(in its class)' 비교라는 점이다. 라이트닝은 프런티어급 추론 모델을 대체하는 물건이 아니라, 코드 리뷰·툴 호출·보안 경보 모니터링·요금 문의 응대처럼 대량으로 반복되는 특화 작업을 맡도록 설계됐다.
이 설계 의도는 최근 에이전트 시스템의 구조 변화와 맞닿아 있다. 실제 운영 환경의 에이전트는 단일 만능 모델이 아니라 여러 모델이 역할을 나눠 맡는 '모델 앙상블'로 굳어지는 추세다. 네모트론 3 울트라나 GPT-5.6 같은 상위 추론 모델이 전체 워크플로를 계획하고 조율하는 동안, 라이트닝 같은 소형 특화 모델이 개별 실행 단계를 담당하는 식이다. 엔비디아는 라이트닝을 완전히 커스터마이즈 가능한 개방형 모델로 내놓으면서, 조직 고유의 도메인 데이터와 도구·워크플로에 맞춰 NeMo로 사후 학습(post-training)해 정확도를 끌어올릴 수 있다고 설명했다.
초기 도입처와 개방성
초기 채택 사례로는 사이버보안의 크라우드스트라이크, 법률 서비스의 하비(Trajectory 활용), 코드 리뷰의 코드래빗(Baseten 활용)이 거론됐고, 릴라 사이언시스는 물리·생명과학 영역의 추론 능력을, 파스티노 랩스는 소프트웨어 개발·금융·헬스케어 워크로드를 각각 커스터마이즈해 활용 중이라고 한다. 도메인 특화 작업일수록 범용 모델보다 자체 데이터로 조정한 경량 모델이 정확도 면에서 유리하다는 논리다.
개방성 측면에서 엔비디아는 라이선스가 허용하는 범위에서 학습 데이터와 기법을 공개해 추적·감사·타 모델 학습이 가능하도록 했다고 밝혔다. 라이트닝과 함께 코딩 에이전트 역량을 위한 강화학습 데이터셋 'Nemotron-RL-Agentic-Terminal-Pivot'도 공개됐다. 배포 유연성도 강조점이다. 이 모델은 RTX PC, DGX 스파크, DGX 스테이션, 젯슨 같은 로컬·온프레미스 환경에서 구동해 기존 인프라 투자를 활용할 수 있고, 엣지 기기부터 RTX PRO 워크스테이션, 데이터센터, 클라우드까지 확장할 수 있다. 빠른 응답이 필요한 대량 특화 작업을 사내에서 처리하려는 조직에는 프라이버시 관점에서 의미가 있다.
라우팅을 '통합 작업'에서 떼어내기
NeMo 스위치야드는 이 앙상블 구조가 낳는 실무 부담을 정면으로 겨냥한다. 하나의 기본 모델에만 의존하면 비용을 과지출하거나 품질을 잃기 쉽고, 반대로 라우팅을 수작업으로 관리하면 배포를 지연시키는 통합 작업으로 변질된다. 스위치야드는 에이전트 워크플로의 각 단계마다 가장 적합하고 효율적인 모델로 프롬프트를 자동 배분하는 오픈소스 라우팅 라이브러리로, 개발자는 품질·지연·비용 등 우선순위에 맞춰 라우팅 알고리즘을 조정할 수 있다. 개방형·자체·엔비디아 모델이 뒤섞인 환경에서도 애플리케이션을 다시 짤 필요 없이 적용된다는 점이 핵심 소구점이다.
엔비디아는 내부 벤치마크에서 스위치야드가 프런티어급 정확도를 유지하면서 작업 완료 비용을 Opus 4.8 단독 사용 대비 약 3분의 1 수준으로 낮췄다고 밝혔다. 인상적인 수치지만 어디까지나 자사 내부 측정치이며, 어떤 과제 구성과 비교 조건에서 나온 결과인지는 공개되지 않았다. 라우팅으로 절감되는 비용은 결국 작업을 저비용 모델로 얼마나 안전하게 넘길 수 있느냐에 좌우되므로, 실제 워크로드에서의 검증이 도입 판단의 관건이 될 것이다.
실무자 입장에서 이번 발표는 두 갈래로 읽힌다. 특화·대량 작업을 로컬에서 값싸게 돌리려는 팀에게 라이트닝은 후보군에 올릴 만하고, 이미 여러 모델을 섞어 쓰는 팀에게 스위치야드는 라우팅을 코드가 아닌 정책으로 관리하는 실험 대상이 될 수 있다. 라이트닝은 허깅페이스·모델스코프·오픈라우터, 그리고 build.nvidia.com에서 NIM 마이크로서비스 형태로 제공되며, 스위치야드는 깃허브에 공개됐고 파트너 플랫폼 지원이 예고됐다. 다만 성능 주장 대부분이 동급 비교와 내부 벤치마크에 기반한 만큼, 자사 데이터로 사후 학습한 결과가 실제 정확도와 토큰 경제성에서 어떻게 나오는지는 직접 돌려봐야 확인되는 영역이다.