무슨 일이냐면요
로컬에서, 그러니까 내 책상 위 컴퓨터에서 큰 AI 모델을 직접 돌려보고 싶다는 개발자들 많잖아요. 근데 문제는 늘 돈이에요. 요즘 잘 나가는 LLM(대형 언어 모델, 사람처럼 글을 쓰고 이해하는 AI)을 제대로 돌리려면 그래픽카드에 붙어 있는 메모리(VRAM)가 넉넉해야 하는데, VRAM 24GB짜리 그래픽카드 한 장이 몇백만원씩 하거든요. 그것도 700억 파라미터(70B)급 큰 모델은 한 장으로는 어림도 없어서 여러 장을 꽂아야 하고요.
그런데 AMD가 'Ryzen AI Max' 시리즈, 코드명 'Strix Halo(스트릭스 헤일로)'를 기반으로 한 AI 개발 키트를 4,000달러, 우리 돈으로 대략 550만원에 내놨어요. 미니 PC만 한 크기에 큰 모델을 통째로 올릴 수 있다는 게 핵심이에요.
왜 미니 PC에서 큰 모델이 돌아가냐면
비밀은 '통합 메모리(Unified Memory)'예요. 이게 뭐냐면, 보통 PC는 CPU가 쓰는 램(RAM)이랑 그래픽카드가 쓰는 메모리(VRAM)가 따로 나뉘어 있어요. 그래서 AI 모델을 GPU에 올리려면 VRAM 용량 안에 딱 들어가야 하는데, 이 용량이 늘 부족한 게 문제였죠.
Strix Halo는 애플 실리콘(M 시리즈 맥)처럼 CPU와 GPU가 하나의 메모리 풀을 같이 써요. 최대 128GB LPDDR5X 메모리를 달 수 있는데, 이 중 상당 부분(대략 96GB까지)을 GPU 몫으로 떼어줄 수 있거든요. 그러니까 예전엔 그래픽카드 여러 장 꽂아야 겨우 올라가던 70B급 모델이, 이 조그만 박스 하나에 쏙 들어가는 거예요.
스펙도 잠깐 볼까요. 내장 GPU는 Radeon 8060S인데 RDNA 3.5 아키텍처에 연산 유닛(CU)이 40개예요. 여기에 XDNA2 기반 NPU(신경망 전용 연산기)가 붙어서 50 TOPS(초당 50조 번 연산) 정도를 담당하고요. 메모리 대역폭은 약 256GB/s 수준이에요.
대역폭 얘기를 조금 더 하면요, LLM이 글자(토큰)를 뱉어내는 속도는 이 메모리 대역폭에 크게 좌우돼요. 256GB/s면 하이엔드 그래픽카드(1TB/s 안팎)보다는 확실히 느려요. 그래서 '70B 모델이 올라간다'는 건 맞지만 '빠르게 돌아간다'는 건 또 다른 얘기예요. 작은 모델은 쾌적하고, 큰 모델은 돌아가긴 하는 수준으로 이해하면 딱 맞아요.
경쟁자들과 비교하면
지금 이 시장이 꽤 재밌어요. 엔비디아도 'DGX Spark'라는 걸 내놨거든요. Grace Blackwell(GB10) 칩에 128GB 통합 메모리를 올린 개인용 AI 개발 머신인데, 비슷한 가격대예요. 애플 맥 스튜디오나 맥 미니도 통합 메모리로 큰 모델 잘 돌리는 걸로 유명하고요. 같은 Strix Halo 칩을 쓰는 Framework Desktop 같은 제품도 있어요.
그럼 뭐가 다르냐. 소프트웨어 생태계로 보면 엔비디아가 압도적이에요. AI 개발의 사실상 표준인 CUDA를 쓸 수 있으니까요. AMD는 ROCm이라는 대항마를 밀고 있는데, 최근에 많이 좋아지긴 했지만 아직 CUDA만큼 '그냥 되는' 수준은 아니에요. 예제 코드 하나 돌려보려다 드라이버랑 씨름하는 경우가 종종 있거든요. 반대로 AMD의 강점은 가격 대비 메모리 용량, 그리고 x86 리눅스·윈도우를 그대로 쓸 수 있는 범용성이에요.
한국 개발자에게는
로컬 LLM에 관심 있는 분들한테는 꽤 매력적인 선택지예요. 회사 데이터를 외부 API(챗GPT 같은 클라우드 서비스)로 보내기 껄끄러운 경우, 이런 박스 하나 놓고 사내에서 모델을 돌리면 보안 걱정을 크게 덜 수 있죠. 클라우드 GPU를 시간당 빌리는 비용이 계속 쌓이는 걸 생각하면, 실험을 많이 하는 팀은 초기 투자로 이런 장비를 사는 게 오히려 쌀 수도 있고요.
다만 냉정하게 볼 부분도 있어요. ROCm 생태계가 아직 CUDA만큼 편하진 않아서, '논문 코드 그대로 복붙하면 돌아가는' 경험을 기대한다면 스트레스를 받을 수 있어요. 그리고 대역폭 한계 때문에 초대형 모델의 추론 속도는 눈높이를 좀 낮춰야 하고요. 그래서 지금 당장 지르기보다, '로컬에서 큰 모델을 개인이 돌리는 시대가 진짜 오고 있구나' 하는 흐름으로 눈여겨보면 좋을 것 같아요.
정리하면
통합 메모리 덕분에 이제 미니 PC 한 대로 수십 GB짜리 AI 모델을 개인이 돌릴 수 있는 시대가 열리고 있어요. 속도와 소프트웨어 편의성이라는 숙제는 아직 남아 있지만요.
여러분은 어떠세요? 클라우드 GPU를 그때그때 빌려 쓰는 것과, 이런 로컬 AI 박스를 하나 사서 두고두고 쓰는 것 중에 어느 쪽이 더 끌리시나요?
🔗 출처: Hacker News