AMD ROCm, CUDA의 아성에 도전하다 — 지금 어디까지 왔을까?

GPU 컴퓨팅의 절대 강자, CUDA

AI와 딥러닝이 폭발적으로 성장하면서, GPU를 활용한 병렬 컴퓨팅은 이제 선택이 아니라 필수가 됐어요. 그런데 이 분야에서 NVIDIA의 CUDA는 거의 독점적인 위치를 차지하고 있거든요. CUDA가 뭐냐면, GPU에서 범용 연산을 할 수 있게 해주는 프로그래밍 플랫폼이에요. 쉽게 말해 "GPU야, 그래픽 말고 이 계산도 좀 해줘"라고 명령할 수 있게 해주는 도구인 셈이죠. PyTorch, TensorFlow 같은 주요 AI 프레임워크가 전부 CUDA 위에서 돌아가다 보니, 사실상 "AI를 하려면 NVIDIA GPU를 사야 한다"는 공식이 만들어진 거예요.

이런 상황에서 AMD가 내놓은 대안이 바로 ROCm(Radeon Open Compute)이에요. AMD GPU에서 CUDA와 비슷한 역할을 하는 오픈소스 소프트웨어 스택인데요, 최근 EE Times 보도에 따르면 AMD가 ROCm의 완성도를 끌어올리기 위해 "한 걸음씩, 꾸준히" 전략을 택하고 있다고 해요.

ROCm이 구체적으로 뭘 하는 건가요?

ROCm은 단일 도구가 아니라 여러 겹으로 이루어진 소프트웨어 스택이에요. 맨 아래에는 GPU 드라이버와 커널 모듈이 있고, 그 위에 HIP(Heterogeneous-computing Interface for Portability)이라는 프로그래밍 언어가 있어요. HIP이 핵심인데, CUDA C++와 문법이 거의 똑같아요. 그래서 기존에 CUDA로 작성된 코드를 HIP으로 변환하는 게 비교적 수월하거든요. AMD는 hipify라는 자동 변환 도구도 제공하고 있어요. CUDA 코드를 넣으면 HIP 코드로 바꿔주는 거죠.

그 위에는 rocBLAS(행렬 연산), rocFFT(푸리에 변환), MIOpen(딥러닝 기본 연산) 같은 수학 라이브러리들이 올라가요. NVIDIA의 cuBLAS, cuFFT, cuDNN에 각각 대응하는 것들이죠. 최근에는 이 라이브러리들의 성능이 상당히 좋아져서, 특정 워크로드에서는 CUDA 라이브러리와 비슷한 수준까지 올라왔다는 평가도 있어요.

"한 걸음씩"이라는 전략의 의미

AMD가 CUDA를 한 번에 따라잡겠다고 하지 않는 건 현실적인 판단이에요. CUDA 생태계는 2006년부터 거의 20년에 걸쳐 쌓아온 거거든요. 수천 개의 라이브러리, 수만 개의 튜토리얼, 수십만 명의 개발자가 이미 CUDA에 익숙해요. 이걸 소프트웨어 기능만으로 뒤집기는 어렵죠.

그래서 AMD는 몇 가지 전략적 선택을 했어요. 첫째, 가장 임팩트가 큰 AI 추론과 학습 워크로드에 집중하고 있어요. PyTorch에서 AMD GPU 지원을 1등급(tier-1)으로 올리는 데 공을 들이고 있고, 실제로 최근 PyTorch 빌드에서는 ROCm 백엔드가 꽤 안정적으로 동작해요. 둘째, 오픈소스 전략을 강화하고 있어요. ROCm 전체가 오픈소스이기 때문에, 커뮤니티 기여를 받을 수 있고, 특정 벤더에 종속되는 걸 싫어하는 기업이나 연구기관에 어필할 수 있거든요. 셋째, MI300X 같은 고성능 데이터센터 GPU 하드웨어를 동시에 밀어붙이면서, "하드웨어는 준비됐으니 소프트웨어만 따라오면 된다"는 메시지를 주고 있어요.

CUDA 독점에 대한 업계의 움직임

AMD만 이 싸움에 뛰어든 건 아니에요. Intel은 oneAPI와 SYCL이라는 표준 기반 프로그래밍 모델을 밀고 있고, Google은 자체 TPU 생태계를 구축했어요. 그리고 최근에는 Triton이라는 OpenAI가 만든 GPU 프로그래밍 언어가 주목받고 있는데, Triton은 특정 GPU 벤더에 종속되지 않는 걸 목표로 하거든요. 실제로 Triton 백엔드로 ROCm을 지원하는 작업이 활발히 진행 중이에요.

더 넓게 보면, 미국과 중국 간 AI 칩 수출 규제로 인해 NVIDIA GPU 공급이 불안정해지면서, 대안 GPU 생태계에 대한 수요가 자연스럽게 커지고 있어요. 클라우드 업체들도 NVIDIA 의존도를 낮추고 싶어하죠. Microsoft Azure는 이미 AMD MI300X 인스턴스를 제공하고 있고, Meta도 AMD GPU를 AI 인프라에 도입하고 있어요.

한국 개발자에게 어떤 의미가 있을까?

솔직히 말하면, 지금 당장 프로덕션 AI 서비스를 ROCm으로 전환하라고 권하기는 어려워요. 아직 CUDA 대비 라이브러리 커버리지나 디버깅 도구 측면에서 부족한 부분이 있거든요. 하지만 몇 가지 시나리오에서는 충분히 고려할 만해요.

우선, 개인 학습이나 사이드 프로젝트에서 AMD GPU를 활용하고 싶다면 ROCm을 써볼 수 있어요. 특히 한국에서는 NVIDIA GPU 가격이 워낙 비싸다 보니, 상대적으로 가성비 좋은 AMD GPU(예: RX 7900 XTX)로 로컬 LLM 추론을 돌려보는 분들이 늘고 있거든요. 또한 클라우드 인프라를 설계하는 입장이라면, AMD 인스턴스를 비용 최적화 옵션으로 검토해볼 수 있어요. 그리고 장기적으로 GPU 컴퓨팅 생태계가 다변화되는 건 개발자에게 좋은 일이에요. 경쟁이 생기면 가격도 내려가고, 선택지도 넓어지니까요.

HIP 프로그래밍을 한번 살펴보는 것도 추천해요. CUDA를 이미 알고 있다면 러닝커브가 거의 없거든요. 나중에 멀티 벤더 GPU 지원이 필요한 프로젝트에서 유용하게 쓸 수 있어요.