무슨 일이 있었나
인텔이 데이터센터용 GPU 'D 시리즈' 제품 페이지를 공개했어요. 그중 눈에 띄는 모델이 AI 가속기 D270인데요, 메모리를 최대 480GB까지 담을 수 있다고 해요. 숫자도 크지만 진짜 포인트는 메모리 종류예요. 요즘 AI 칩의 상징처럼 여겨지는 HBM이 아니라, 스마트폰이나 노트북에 들어가는 LPDDR5X를 썼거든요.
사실 예고된 방향이긴 했어요. 인텔은 2025년 가을에 Xe3P 아키텍처 기반 추론 전용 데이터센터 GPU '크레센트 아일랜드(Crescent Island)'를 발표하면서 LPDDR5X 160GB 탑재 계획을 밝혔었는데요, D 시리즈는 이 노선이 실제 제품으로 이어진 것으로 보여요. 정확한 대역폭이나 연산 성능, 전력 수치는 공식 페이지에서 꼭 확인해 보세요. 여기서는 '왜 이런 선택을 했는지'에 집중해볼게요.
HBM과 LPDDR5X, 뭐가 다른데요?
HBM(High Bandwidth Memory)은 메모리 칩을 아파트처럼 수직으로 쌓아서 GPU 바로 옆에 딱 붙인 메모리예요. 데이터가 오가는 통로가 엄청 넓어서 속도(대역폭)가 압도적이지만, 만들기 어렵고 비싸고 무엇보다 물량이 부족해요. 큰 칩 회사들이 HBM을 확보하려고 줄을 서는 상황이죠.
LPDDR5X는 원래 모바일용 저전력 메모리예요. 통로는 HBM보다 좁지만 싸고, 전기를 적게 먹고, 대용량으로 구성하기 쉬워요. 비유하자면 HBM은 '8차선 고속도로가 연결된 작은 창고', LPDDR5X는 '2차선 도로가 연결된 초대형 물류센터'라고 보시면 돼요.
추론에서는 왜 '용량'이 중요할까
LLM이 답을 만드는 과정은 크게 두 단계예요. 질문 전체를 한 번에 읽는 프리필(prefill), 그리고 답을 한 토큰씩 만들어내는 디코드(decode)인데요. 디코드 단계에서는 토큰 하나 만들 때마다 모델 가중치를 메모리에서 계속 읽어야 해서, 대역폭이 낮은 LPDDR이 불리한 게 맞아요. 사용자 한 명이 체감하는 '타자 속도'는 HBM 칩이 더 빠를 거예요.
그런데 실제 서비스는 계산이 좀 달라요. 첫째, 모델이 한 장에 다 들어가느냐가 중요해요. 70B 모델을 FP16으로 올리면 가중치만 140GB거든요. 한 장에 안 들어가면 여러 GPU에 쪼개야 하고, GPU끼리 통신하는 비용이 생겨요. 둘째는 KV 캐시예요. 이게 뭐냐면 모델이 지금까지의 대화를 기억해두는 메모장인데, 컨텍스트가 길고 동시 사용자가 많을수록 수십~수백 GB까지 불어나요. 메모리가 넉넉하면 요청을 많이 묶어서(배치) 처리할 수 있고, 가중치를 한 번 읽어 여러 요청에 재사용하니까 대역폭의 약점도 어느 정도 상쇄돼요. 480GB는 '큰 모델 + 넉넉한 KV 캐시'를 한 장에 담겠다는 설계로 읽혀요.
업계 흐름: 추론 칩은 'HBM 아닌 메모리'로
이런 선택을 한 건 인텔만이 아니에요. 퀄컴은 2025년 10월 카드당 768GB LPDDR을 탑재한 AI200을 발표했고, 엔비디아도 프리필 전용으로 GDDR7 128GB를 쓰는 Rubin CPX를 내놨어요. 로컬 LLM 쪽에서는 LPDDR 통합 메모리를 최대 512GB까지 다는 맥 스튜디오가 인기고요.
반면 학습과 초고속 추론은 여전히 HBM 차지예요. H200은 141GB, B200은 192GB, AMD MI355X는 288GB의 HBM3E를 달고 있죠. 정리하면 시장이 '빠른 메모리'가 꼭 필요한 영역과 '크고 싼 메모리'로 충분한 영역으로 갈라지는 중이에요. 인텔은 HBM을 쓴 Gaudi 3로 정면 승부를 걸었지만 시장 반응이 기대에 못 미쳤는데, 이번엔 전성비와 총소유비용(TCO)이라는 틈새를 노리는 셈이에요. 물론 남은 숙제는 소프트웨어예요. CUDA 생태계 대비 PyTorch XPU, OpenVINO, vLLM 지원이 얼마나 매끄러운지가 실제 채택을 가를 거예요.
한국 개발자에게 주는 시사점
산업 측면에서 LPDDR5X 수요가 데이터센터로 넓어지는 건 삼성전자와 SK하이닉스에게도 의미 있는 흐름이에요. 실무 측면에서는 금융·공공·의료처럼 데이터를 외부 API로 보내기 어려운 곳에서 온프레미스 추론 장비 선택지가 늘어난다는 게 중요해요. 리벨리온, 퓨리오사AI 같은 국내 NPU 기업들도 '추론 전성비'를 내세우고 있어서 비교 대상이 하나 더 생긴 거죠.
당장 D270을 살 일이 없더라도 이런 습관은 들여두면 좋아요. 우리 서비스가 대역폭이 부족한 건지, 용량이 부족한 건지 따져보는 거예요. 모델 크기, 평균 컨텍스트 길이, 동시 접속자 수만 알아도 어떤 하드웨어가 맞는지 감이 오거든요.
마무리
한 줄 정리: AI 추론 하드웨어 경쟁의 기준이 '가장 빠른 메모리'에서 '가장 많이, 가장 싸게 담는 메모리'로 넓어지고 있어요.
여러분 서비스라면 토큰 속도가 조금 느려도 큰 모델과 긴 컨텍스트를 한 장에 담는 쪽을 택하실 건가요? 그리고 CUDA가 아닌 하드웨어를 도입할 때 가장 걱정되는 건 뭔가요?
🔗 출처: Hacker News