GPU 메모리 192GB짜리 워크스테이션이 나왔어요
리눅스 PC 제조사 System76을 아시나요? Pop!_OS라는 우분투 기반 배포판을 만들고, 미국 콜로라도 공장에서 Thelio라는 데스크톱 라인업을 직접 조립해서 파는 회사예요. 리눅스를 메인 OS로 쓰는 개발자들 사이에서는 '드라이버 삽질 없이 바로 쓸 수 있는 리눅스 PC'로 꽤 오래 신뢰를 쌓아왔거든요.
이 회사가 이번에 Thelio Mira AI라는 이름의 AI 특화 워크스테이션을 내놨는데요. 스펙 중에 눈에 확 들어오는 숫자가 하나 있어요. 바로 GPU 메모리 합계 192GB예요. 게이밍용 최상위 카드인 RTX 5090이 32GB니까, 그 여섯 배에 해당하는 GPU 메모리를 책상 밑 한 대에 담았다는 얘기예요.
왜 GPU 메모리 용량이 그렇게 중요할까요
이게 뭐냐면, 요즘 로컬에서 LLM(대규모 언어 모델)을 돌릴 때 가장 먼저 부딪히는 벽이 GPU 메모리예요. 모델의 가중치(파라미터)를 GPU 메모리에 전부 올려놔야 빠르게 추론할 수 있거든요. 안 올라가면 CPU 메모리나 디스크를 오가면서 속도가 수십 배로 느려져요.
계산을 한번 해볼게요. 700억 개 파라미터짜리 모델을 16비트 정밀도로 올리면 파라미터 하나당 2바이트니까 대략 140GB가 필요해요. 8비트로 양자화(정밀도를 낮춰서 용량을 줄이는 기법)하면 70GB, 4비트면 35GB 정도로 줄어들고요. 그런데 여기서 끝이 아니에요. 대화가 길어질수록 KV 캐시라고 부르는, 지금까지의 문맥을 기억하는 임시 데이터가 계속 쌓이는데 이것도 GPU 메모리를 잡아먹어요. 그래서 32GB 카드 한 장으로는 700억 모델을 4비트로 겨우 올려놓고도 긴 문서 하나 넣으면 터지는 상황이 생기거든요.
192GB면 이야기가 완전히 달라져요. 700억 모델을 8비트로 여유 있게 돌리면서 긴 컨텍스트도 감당할 수 있고, 최근 유행하는 1000억 파라미터 이상의 MoE(전문가 혼합) 모델도 양자화해서 올릴 수 있는 수준이에요. 회사 데이터로 파인튜닝(추가 학습)을 돌릴 때도 옵션이 넓어지고요.
어떻게 192GB를 만드는 걸까요
단일 GPU로 192GB를 제공하는 카드는 아직 워크스테이션급에는 없어요. 그래서 이런 구성은 보통 96GB급 워크스테이션 GPU를 두 장 꽂는 방식이 돼요. 예를 들어 NVIDIA의 RTX PRO 6000 Blackwell 같은 카드가 96GB GDDR7 메모리를 가지고 있는데, 이걸 두 장 넣으면 딱 192GB가 나오죠. 정확한 구성 옵션은 System76 제품 페이지에서 골라야 하지만, 방향은 그렇게 보시면 돼요.
GPU가 두 장이면 모델을 어떻게 나눠 올리냐는 질문이 자연스럽게 나오는데요. vLLM이나 llama.cpp 같은 추론 엔진은 텐서 병렬(모델의 각 층을 두 GPU가 나눠 계산)이나 파이프라인 병렬(층을 앞뒤로 나눠 배치) 방식으로 여러 GPU를 묶어 쓰는 걸 지원해요. 사용자 입장에서는 옵션 하나 켜는 정도로 끝나는 경우가 많고요.
Thelio 시리즈의 또 다른 장점은 리눅스가 처음부터 준비돼 있다는 거예요. Pop!_OS나 우분투가 깔려 오고, NVIDIA 드라이버와 CUDA 툴킷이 세팅된 상태로 받아볼 수 있으니 '드라이버 버전 맞추다가 하루 날리는' 일이 줄어들어요. 케이스 설계도 GPU 두 장이 뿜는 열을 감당하도록 공기 흐름에 신경을 쓴 구조예요.
요즘 로컬 AI 머신 시장 지형
비슷한 목적의 기기들과 비교해보면 이 제품의 위치가 보여요. 애플 Mac Studio는 M3 Ultra 기준 최대 512GB 통합 메모리를 제공하는데, 용량은 압도적이지만 메모리 대역폭이 초당 800GB대예요. NVIDIA DGX Spark는 128GB 통합 메모리에 대역폭은 초당 270GB 남짓이고요. AMD Ryzen AI Max 기반 미니PC들도 128GB 통합 메모리로 비슷한 노선이에요.
반면 독립 GPU는 카드당 용량은 제한되지만 대역폭이 초당 1.5TB를 넘어요. LLM 추론 속도는 결국 메모리에서 가중치를 얼마나 빨리 읽어오느냐로 결정되거든요. 그러니까 통합 메모리 계열은 '큰 모델을 느리게라도 올린다', 독립 GPU 계열은 '올릴 수 있는 모델을 빠르게 돌린다'는 성격이 있어요. Thelio Mira AI는 독립 GPU 두 장으로 용량과 속도를 모두 어느 정도 챙기는 절충안인 셈이에요.
한국 개발자에게는 어떤 의미일까요
솔직히 개인이 사기엔 부담스러운 가격대일 거예요. 96GB급 GPU 한 장 가격만 해도 천만 원을 훌쩍 넘으니까요. 그래도 팀이나 회사 단위로 보면 계산이 달라져요. 클라우드 GPU를 시간당으로 빌리는 비용을 1년 누적하면 워크스테이션 한 대 값이 나오는 경우가 꽤 있거든요. 특히 금융, 의료, 공공처럼 데이터를 외부로 내보낼 수 없는 환경에서는 '사내에서 도는 AI 서버'가 클라우드보다 현실적인 선택이 돼요.
직접 조립도 대안이에요. 국내에서 부품을 사서 RTX 5090 여러 장이나 워크스테이션 GPU를 꽂는 방법이 있죠. 다만 전원부, 냉각, 리눅스 드라이버 세팅을 전부 직접 해야 하니 그 시간을 돈으로 환산해보고 결정하면 좋아요. 그리고 어떤 선택이든 전기요금과 소음은 미리 생각하셔야 해요. GPU 두 장이 풀로 돌면 전열기 한 대 켜놓은 것과 비슷하거든요.
정리하면
책상 밑에서 700억 이상 모델을 여유 있게 돌리는 시대가 왔고, 리눅스 네이티브로 그걸 파는 회사가 등장했다는 것이 핵심이에요.
여러분은 로컬 AI 머신에 투자할 생각이 있으신가요? 클라우드가 편하니 계속 빌려 쓰겠다는 쪽인지, 아니면 데이터 보안이나 비용 때문에 사내 장비가 필요하다는 쪽인지 의견이 궁금해요.
🔗 출처: Hacker News