엔비디아 데이터센터 라인업의 정점에는 NVLink로 촘촘히 묶인 HGX B200·B300 같은 시스템이 있다. 하지만 모든 조직이 그 가격을 감당할 수 있는 것은 아니다. GPU 서버 공급사 GPU Partner가 공개한 실무 가이드는 AMD EPYC 9555(64코어·128스레드, Zen 5)에 RTX PRO 6000 Blackwell 8장을 PCIe 5.0로 연결한 구성을 다루면서, 이런 '보급형' 멀티 GPU 노드를 어떤 용도에 써야 이득인지를 정리한다. 카드 한 장당 96GB GDDR7(대역폭 1,597GB/s)를 갖춰 여덟 장을 합치면 768GB에 이르는 VRAM 풀이 만들어진다.
숫자만 보면 이 정도 VRAM으로 Llama-3.1 405B나 DeepSeek-R1 671B 같은 초대형 모델을 여덟 장에 쪼개 올리고 싶은 유혹이 생긴다. 필자들도 처음엔 그 가능성부터 확인하려 했다고 밝힌다. 그러나 결론은 명확하다. 400B급 이상의 단일 거대 모델을 PCIe로 연결된 8개 GPU에 텐서 병렬로 분산하면 카드 간 통신 지연이 급격히 커져 실효를 내기 어렵다. 그런 워크로드는 NVLink(4세대 900GB/s, 5세대 1,800GB/s)의 압도적 인터커넥트 대역폭을 갖춘, 그리고 그만큼 비싼 상급 서버의 몫이다.
PCIe의 한계를 뒤집어 읽기
핵심 발상의 전환은 '깊은 모델 병렬화'를 억지로 밀어붙이지 않는 데 있다. 인터커넥트 대역폭과 집합 통신 지연은 어떤 작업이 모델 병렬로 잘 확장되는지, 아니면 독립적 동시성으로 처리하는 편이 나은지를 가른다. PCIe 5.0 구성은 전자에서는 분명 불리하지만, 후자, 즉 고밀도 병렬 실행에서는 훨씬 비싼 형제 제품에 크게 뒤지지 않는다. 하나의 거대 모델을 쪼개는 대신, 여러 작업을 동시에 돌리는 쪽으로 아키텍처를 재정의하면 비용 대비 성능이 극적으로 좋아진다는 것이 이 가이드의 논지다.
가장 자연스러운 활용처는 높은 동시성이 필요한 추론 서비스다. 카드 한 장의 96GB는 Qwen3 27B 같은 중형 밀집 모델을 샤딩 없이 통째로 수용한다. 물론 실제 용량은 모델과 정밀도에 따라 달라진다. 엔터프라이즈 추론 라우팅에서는 한 장에 Llama-3.1 8B, Mistral Small, Qwen3 32B 같은 여러 소형 모델이나 연속 배치 워커를 함께 올릴 수 있다. 이렇게 하면 노드 전체에서 약 24개, 8B 모델을 카드당 4개씩 배치하면 최대 32개의 개별 엔드포인트를 운영하는 계산이 나온다.
단일 GPU 격리가 주는 이점
이 플랫폼의 진짜 강점은 GPU 간 통신을 아예 없앨 때 드러난다. 가이드는 워크로드를 격리된 단일 GPU 인스턴스(TP=1), 두 장을 묶은 서빙(TP=2), 비동기 배치 파이프라인으로 나눠 비교한다. TP=1 구성은 GPU 간 통신이 전혀 없고 메모리 풀이 서로 격리돼, 동기화 정체 없이 처리량이 선형으로 늘어난다. 각 카드의 큰 로컬 VRAM은 타일 분할 없는 잠재 이미지 생성 같은 작업에도 유리하다. PCIe 병목이 애초에 발생하지 않는 지점에서 토큰당 투자 효율이 가장 좋아진다는 뜻이다.
미세조정도 가능은 하지만 조건이 붙는다. PyTorch FSDP나 DeepSpeed ZeRO-3는 PCIe를 통한 그래디언트 all-gather와 reduce-scatter를 역전파 연산과 겹쳐 처리하며, 768GB 풀에 상태를 분산하면 70B급 모델의 파인튜닝을 뒷받침한다. 다만 70B 전체 파라미터를 AdamW로 학습하려면 CPU 오프로딩이 필수다. 옵티마이저 상태만 약 840GB에 달해 12개의 96GB DIMM으로 최소 1.15TB의 호스트 메모리가 필요하다. 이때 8개 GPU가 각각 64GB/s, 합산 512GB/s를 요구하는데 이는 EPYC 9555의 DDR5 버스(576~614GB/s)의 약 83~89%에 해당해, PCIe와 함께 호스트 메모리 대역폭이 동시 병목으로 작용한다. 반면 어댑터 그래디언트만 주고받는 경량 튜닝이나, vLLM 롤아웃 액터와 리워드 모델을 한 노드에 함께 올리는 강화학습 구성에서는 PCIe 부담이 훨씬 작다.
실무적 의미와 한계
결국 여덟 장을 '하나의 큰 GPU'처럼 다루려는 관점 자체가 이 하드웨어와 맞지 않는다. GPU를 독립된 가속기 여덟 개로 보고, 각 카드가 자기 모델과 자기 메모리 풀을 갖도록 설계할 때 가치가 극대화된다. 여덟 개의 독립 가속기를 놀지 않게 먹이려면 CPU의 역할이 커지는데, 64코어 EPYC와 12채널 메모리 서브시스템이 비동기·멀티테넌트 환경에서 데이터 공급을 담당한다.
다만 이 자료가 GPU 서버를 판매하는 공급사의 블로그라는 점은 감안해야 한다. 실제 처리량과 엔드포인트 수치는 모델 종류, 정밀도, 배치 전략에 따라 달라지며 본문의 수치도 대체로 추정 범위로 제시돼 있다. 그럼에도 방향성은 참고할 만하다. 프런티어 모델 실험이 목표라면 NVLink 기반 상급 서버가 정답이지만, 다수의 중소형 모델을 높은 동시성으로 서빙하거나 어댑터 기반 튜닝, RL 파이프라인을 한 노드에서 돌리는 것이 목적이라면 PCIe로 묶인 Blackwell 구성이 훨씬 합리적인 선택이 될 수 있다. 자신의 워크로드가 '깊은 병렬화'와 '넓은 동시성' 중 어느 쪽인지 먼저 규정하는 것이 하드웨어 선택의 출발점이다.