GPU '한 장'으로 최신 대형 모델을 돌렸다는 게 왜 대단하냐면요
요즘 성능 좋다는 오픈소스 대형 언어 모델(LLM)을 직접 서버에 올려서 돌려보려고 하면 제일 먼저 부딪히는 벽이 GPU 메모리예요. 모델의 파라미터(모델이 학습한 수치 덩어리)를 전부 GPU 메모리에 올려야 추론이 되는데, 요즘 상위급 모델들은 워낙 커서 NVIDIA H100(메모리 80GB) 같은 고가 GPU를 여러 장 묶어야 겨우 올라가거든요. GPU를 여러 장 쓰면 모델을 쪼개서 나눠 담는 텐서 병렬화 같은 복잡한 기술이 필요하고, GPU끼리 데이터를 주고받는 통신 비용도 생기고, 무엇보다 돈이 어마어마하게 들어요.
그런데 이번에 DeepSeek의 경량 라인업인 V4 Flash를 AMD의 MI300X '단 한 장'에서 돌리는 과정을 정리한 프로젝트가 공개됐어요. 실행 스크립트와 설정, 겪었던 시행착오까지 담겨 있어서 따라 해볼 수 있게 되어 있는데요, 이게 단순한 '해봤다' 이상의 의미가 있어서 소개해드리려고요.
MI300X가 뭐냐면요
AMD가 NVIDIA H100에 맞불을 놓으려고 만든 데이터센터용 GPU인데요, 최대 무기는 메모리 용량이에요. HBM3라는 고대역폭 메모리를 192GB나 싣고 있거든요. H100의 80GB와 비교하면 2.4배죠. 연산 속도 벤치마크에서는 종목에 따라 이기고 지고를 반복하지만, '큰 모델을 쪼개지 않고 한 장에 통째로 올릴 수 있다'는 점에서는 확실한 강점이 있어요.
이게 왜 중요하냐면, 모델을 여러 GPU에 쪼개는 순간 복잡도가 확 뛰기 때문이에요. GPU 간 통신이 병목이 되기도 하고, 배포와 운영도 훨씬 까다로워지고요. 한 장에 다 들어가면 이 모든 게 사라져요. 서빙 구성도 단순해지고, 장애 지점도 줄어들죠.
DeepSeek V4 Flash는 어떤 모델인가요
DeepSeek는 요즘 오픈 모델 진영에서 가장 주목받는 중국 AI 랩인데요, Flash는 그중에서도 속도와 비용 효율에 초점을 맞춘 경량 라인이에요. 핵심은 MoE(Mixture of Experts, 전문가 혼합) 구조예요. 이게 뭐냐면, 모델 안에 '전문가'라고 부르는 작은 신경망을 잔뜩 넣어두고, 토큰(단어 조각)을 처리할 때마다 그중 일부만 골라서 쓰는 방식이에요. 비유하자면 의사 수백 명이 있는 큰 병원인데, 환자 한 명을 진료할 때는 증상에 맞는 의사 두세 명만 투입되는 거죠. 전체 파라미터는 크지만 실제 계산량은 훨씬 적어서, 큰 모델의 지식과 작은 모델의 속도를 어느 정도 같이 가져갈 수 있어요.
다만 MoE에도 함정이 있는데요, 계산은 일부 전문가만 하더라도 메모리에는 전문가 '전원'이 올라가 있어야 한다는 점이에요. 어떤 토큰이 어떤 전문가를 부를지 미리 알 수 없거든요. 그래서 MoE 모델은 계산량 대비 메모리 요구량이 커요. 바로 이 지점에서 192GB짜리 MI300X가 빛나는 거예요. 여기에 양자화(파라미터를 FP8이나 INT4처럼 낮은 정밀도 숫자로 압축해서 메모리를 아끼는 기술)를 더하면 한 장 안에 넉넉히 들어가는 그림이 나오고요.
소프트웨어 스택도 이제 할 만해졌어요
사실 AMD GPU의 진짜 약점은 하드웨어가 아니라 소프트웨어였어요. NVIDIA의 CUDA 생태계가 워낙 압도적이라, AMD의 ROCm(AMD판 CUDA라고 생각하시면 돼요)에서는 되는 게 없다는 인식이 오래 있었거든요. 그런데 최근 1~2년 사이 분위기가 많이 달라졌어요. 대표적인 추론 서빙 프레임워크인 vLLM과 SGLang이 ROCm을 공식 지원하고, PyTorch도 ROCm 위에서 무리 없이 돌아가요. 이번 프로젝트도 결국 이 스택 위에서 이뤄진 거고요.
한국 개발자에게 주는 시사점
자체 GPU로 모델을 서빙하려는 회사라면 AMD 옵션을 진지하게 검토해볼 시점이 됐다는 신호예요. NVIDIA GPU는 여전히 구하기 어렵고 비싼데, MI300X는 상대적으로 물량 확보가 수월하고 메모리당 가격이 유리하거든요. Azure 같은 클라우드에서 MI300X 인스턴스를 제공하니 하드웨어를 사기 전에 실험해볼 수도 있고요. 다만 세부 커널 최적화나 커뮤니티 자료의 양에서는 아직 CUDA 쪽이 앞서 있으니, 문제가 생겼을 때 직접 파고들 각오는 필요해요.
한줄 정리: 192GB 메모리를 앞세운 AMD MI300X 한 장으로 최신 MoE 모델을 서빙하는 시대가 열리고 있어요.
여러분 회사는 모델 서빙할 때 어떤 하드웨어를 쓰고 계세요? ROCm 스택으로 갈아탈 의향이 있으신가요?
🔗 출처: Hacker News