손바닥만 한 AI 슈퍼컴퓨터를 메인 PC로?
엔비디아가 작년에 내놓은 DGX Spark 기억하시나요? '책상 위의 AI 슈퍼컴퓨터'라는 콘셉트로 나온 손바닥만 한 미니 PC인데요. 한 개발자가 이걸 장난감이 아니라 진짜 '데일리 드라이버', 그러니까 매일 쓰는 메인 컴퓨터로 사용해 본 경험을 상세히 공유했어요. 스펙시트만 봐서는 알 수 없는 실사용 이야기라서 흥미롭거든요.
먼저 DGX Spark가 뭔지부터 짚고 갈게요. 이 기계의 심장은 GB10이라는 칩이에요. ARM 기반 20코어 Grace CPU와 Blackwell 아키텍처 GPU를 하나로 합친 건데, 가장 큰 특징은 128GB 통합 메모리예요. 통합 메모리가 뭐냐면, CPU와 GPU가 메모리를 따로 갖지 않고 하나의 메모리를 같이 쓰는 구조거든요. 애플 실리콘 맥과 같은 방식이에요. 일반 PC에서는 AI 모델을 그래픽카드의 VRAM(보통 8~24GB) 안에 다 넣어야 하는데, 통합 메모리 구조에서는 128GB를 통째로 GPU가 쓸 수 있어서 훨씬 큰 모델을 로컬에서 돌릴 수 있어요.
실사용에서 드러나는 강점과 약점
그럼 실제로 써보면 어떨까요? 약점부터 솔직하게 이야기하면, 273GB/s라는 메모리 대역폭이 발목을 잡아요. 이게 왜 중요하냐면, LLM이 토큰을 하나 생성할 때마다 모델 전체 가중치를 메모리에서 읽어와야 하거든요. 그래서 토큰 생성 속도는 연산 성능보다 메모리를 얼마나 빨리 읽느냐에 좌우돼요. 비슷한 가격대의 맥 스튜디오가 500~800GB/s급 대역폭을 가진 것과 비교하면 절반 이하라서, 큰 모델을 '올릴 수는' 있는데 생성 속도는 답답할 수 있어요. 대신 프롬프트를 한꺼번에 처리하는 프리필 단계는 GPU 연산력 덕분에 빠른 편이고, 무엇보다 CUDA가 네이티브로 돌아간다는 게 결정적 강점이에요. 맥에서는 CUDA 전용 코드를 아예 돌릴 수 없어서 포기해야 하는 것들이 많거든요.
데일리 드라이버로서의 관건은 소프트웨어 호환성이에요. DGX Spark는 우분투 기반의 DGX OS로 구동되는 ARM64 리눅스 머신이라서, x86 전용으로만 배포되는 프로그램들은 그냥 못 써요. 다행히 요즘은 애플 실리콘 덕분에 ARM 생태계가 많이 좋아져서 개발 도구 대부분은 문제없이 돌아가지만, 게임이나 일부 상용 소프트웨어에서는 여전히 벽에 부딪히게 되거든요. 리눅스 데스크톱에 익숙하고 개발과 AI 실험이 주 용도인 사람에게는 충분히 메인 머신이 될 수 있지만, 만능 PC를 기대하면 곤란하다는 거죠.
경쟁 구도: 맥 스튜디오와 스트릭스 헤일로
이 시장에는 이미 강력한 경쟁자들이 있어요. 애플 맥 스튜디오는 메모리 대역폭과 데스크톱 완성도에서 앞서고, AMD의 스트릭스 헤일로(Ryzen AI Max) 기반 미니 PC들은 x86 호환성과 가격에서 매력적이거든요. 셋 다 '큰 통합 메모리로 로컬 AI를 돌린다'는 같은 시장을 노리고 있어요. 그 속에서 DGX Spark의 차별점은 딱 하나, '엔비디아 CUDA 생태계를 그대로 쓸 수 있는 128GB 머신'이라는 거예요. 서버 GPU에 올라갈 코드를 로컬에서 그대로 개발하고 테스트할 수 있으니, CUDA 의존적인 워크플로를 가진 ML 엔지니어에게는 사실상 대체재가 없는 셈이에요.
우리에게 주는 시사점
한국 개발자 입장에서 정리해 보면요. 로컬에서 대형 모델을 올려놓고 실험하고 싶은 ML 엔지니어, 보안 정책상 데이터를 외부 API로 보낼 수 없는 환경에서 일하는 분들에게는 진지하게 고려할 만한 물건이에요. 다만 '빠른 로컬 챗봇'을 기대한다면 대역폭 한계 때문에 실망할 수 있고, 순수 추론 속도가 목적이라면 맥 스튜디오나 일반 GPU 워크스테이션이 나을 수 있어요. 결국 용도를 명확히 하고 고르는 게 중요한 거죠.
정리하면, DGX Spark는 만능 PC가 아니라 'CUDA가 되는 128GB 로컬 AI 실험실'이고, 그 목적에 맞는 사람에게는 데일리 드라이버로도 살아남을 수 있는 기계예요. 여러분이라면 같은 예산으로 뭘 고르시겠어요? DGX Spark, 맥 스튜디오, 아니면 그냥 클라우드 GPU 크레딧?
🔗 출처: Hacker News