전기는 적게 먹고 메모리는 큰 카드
LLM을 회사 서버에서 직접 돌리려고 견적을 내본 분이라면 익숙한 고민이 있어요. 모델을 올리려면 메모리가 커야 하는데, 메모리 큰 GPU는 비싸고 전기도 많이 먹거든요. 퀄컴의 데이터센터용 AI 가속기 Cloud AI 100 Ultra는 이 문제를 다른 방향에서 풀어요. 핵심 스펙은 소비전력 150W, 메모리 128GB, 메모리 대역폭 548GB/s예요.
갓 나온 신제품은 아니에요. 그래도 이 숫자 세 개를 나란히 놓으면 LLM 추론 하드웨어가 지금 무엇을 두고 경쟁하는지가 선명하게 보이거든요. 여기서 추론(inference)은 학습이 끝난 모델에 질문을 넣고 답을 받는 단계를 말해요. 이 카드는 바로 이 추론 전용으로 설계됐어요.
스펙을 뜯어보면
퀄컴 공개 스펙 기준으로 이 제품은 일반 서버에 꽂는 PCIe 카드이고, 메모리는 LPDDR4x 128GB, 연산 성능은 INT8 기준 870 TOPS, FP16 기준 288 TFLOPS예요. 칩 안쪽의 초고속 메모리인 SRAM도 576MB 들어 있고요.
눈여겨볼 건 메모리 종류예요. 엔비디아 데이터센터 GPU가 쓰는 HBM은 메모리를 층층이 쌓아 칩 바로 옆에 붙인 초고속 메모리인데, 빠른 대신 비싸요. 반면 LPDDR은 원래 스마트폰과 노트북에 쓰던 저전력 메모리예요. 속도는 훨씬 느리지만 적은 전력으로 큰 용량을 달 수 있죠. 스마트폰 칩을 만들어온 퀄컴다운 선택이에요.
주의할 점도 있어요. 이 카드는 칩 4개를 한 장에 묶은 구조로 알려져 있어서, 128GB와 548GB/s는 네 칩을 합친 수치예요. 큰 모델은 칩들에 나눠 담아야 하고 칩끼리 통신하는 비용도 생기니까, 스펙표 숫자를 거대한 메모리 한 덩어리로 생각하면 안 돼요.
왜 대역폭이 곧 속도일까
LLM은 답변을 토큰(글자 조각) 단위로 하나씩 만들어요. 일반적인 모델이라면 토큰 하나를 만들 때마다 가중치 전체를 메모리에서 읽어와야 하고요. 글자 하나 쓸 때마다 백과사전 전권을 훑어야 하는 작가를 떠올리면 비슷해요. 그래서 혼자 쓸 때는 계산 능력보다 메모리에서 얼마나 빨리 읽어오느냐가 속도를 결정해요. 어림셈은 이렇게 할 수 있어요.
> 초당 토큰 수 ≈ 메모리 대역폭 ÷ 모델 크기(바이트)
700억 파라미터 모델을 8비트로 양자화(숫자 정밀도를 낮춰 용량을 줄이는 기법)하면 약 70GB예요. 여기에 548GB/s를 넣으면 초당 약 8토큰이 이론상 상한이고, 실제로는 이보다 낮게 나와요. 같은 계산을 대역폭 3.35TB/s인 H100에 하면 약 48토큰이죠.
다만 이건 사용자 한 명 기준이에요. 서버는 여러 요청을 묶어 처리하는 배치(batch)를 쓰는데, 가중치를 한 번 읽어서 여러 사람의 토큰을 같이 만드는 방식이라 총처리량이 크게 올라가요. 한 사람이 느끼는 속도와 서버 전체 처리량은 다른 이야기인 거죠.
경쟁 제품과 나란히 놓으면
| 제품 | 메모리 | 대역폭 | 형태와 전력 |
|---|---|---|---|
| Cloud AI 100 Ultra | 128GB | 548GB/s | PCIe 카드, 150W |
| NVIDIA H100 SXM | 80GB | 3.35TB/s | 서버 모듈, 최대 700W |
| RTX 4090 | 24GB | 약 1TB/s | 소비자용 GPU, 450W |
| NVIDIA DGX Spark | 128GB | 273GB/s | 소형 데스크톱 |
| FuriosaAI RNGD | 48GB | 1.5TB/s | PCIe 카드, 180W |
H100은 대역폭이 약 6배지만 전력도 4배 넘게 써요. 재미있는 건 와트당 대역폭은 오히려 H100이 앞선다는 점이에요. 이 카드가 확실히 앞서는 쪽은 와트당 메모리 용량으로, H100의 7배가 넘어요. 빠르게 답하기보다 큰 모델을 적은 전력으로 올려두는 데 강한 카드인 셈이죠.
가장 큰 벽은 소프트웨어예요. 엔비디아 GPU에서는 PyTorch 코드가 대체로 그냥 돌아가지만, 이 카드는 퀄컴 SDK로 모델을 미리 컴파일하는 단계를 거쳐야 해요. CUDA 전용 커널에 기대는 오픈소스는 바로 돌아가지 않고요.
퀄컴의 방향은 더 뚜렷해졌어요. 2025년 10월에 카드당 LPDDR 768GB를 다는 AI200과, 메모리 가까이에서 연산해 실효 대역폭을 끌어올리는 AI250을 발표했거든요. 고가의 HBM 대신 대용량 저전력 메모리로 추론 시장을 노리는 전략을 키운 거예요. 국내 FuriosaAI의 RNGD는 비슷한 전력대에서 HBM3를 택했어요. 같은 전력으로 퀄컴은 용량을, 퓨리오사는 속도를 고른 셈이라 비교해보면 재미있어요.
한국 개발자에게 주는 시사점
이 카드를 당장 사서 쓸 일은 많지 않을 거예요. 구입 경로와 가격부터 직접 확인해야 하는 제품이거든요. 대신 가져갈 포인트는 분명해요.
첫째, 온프레미스 LLM 견적을 낼 때는 TOPS보다 메모리 용량과 대역폭을 먼저 보세요. 위의 어림셈만 해봐도 후보가 꽤 걸러져요. 둘째, 외부 API를 쓰기 어려운 금융권이나 공공기관 프로젝트라면 전력과 냉각도 중요한 조건이에요. 기존 서버실에 넣을 수 있느냐가 성능표만큼 중요할 때가 많거든요. 셋째, 서빙 코드를 CUDA에 단단히 묶어두지 않는 습관이 점점 값어치를 해요. vLLM이나 ONNX처럼 여러 하드웨어를 지원하는 경로를 익혀두면 장비를 바꿀 때 훨씬 편해요.
마무리
정리하면 LLM 추론 하드웨어는 연산 성능 경쟁을 넘어, 메모리를 얼마나 크고 빠르고 싸게 붙이느냐의 경쟁이 되고 있어요. 여러분 팀이 LLM을 직접 서빙한다면 빠르지만 비싼 GPU 소수와, 느려도 용량 큰 저전력 카드 여러 장 중 어느 쪽을 고르시겠어요? 서비스 성격에 따라 답이 갈릴 텐데, 경험이나 의견을 나눠주세요.
🔗 출처: Hacker News