로컬에서 LLM을 돌리고 싶지만 GPU VRAM이 부족한 경험, 다들 한 번쯤 있으시죠? Nvidia Greenboost는 시스템 RAM이나 NVMe SSD를 활용해 GPU VRAM을 투명하게 확장해주는 오픈소스 도구입니다.
어떻게 동작하나?
Greenboost는 NVIDIA GPU의 메모리 관리에 개입하여, VRAM에 올라가지 못하는 데이터를 시스템 메모리(RAM)나 NVMe 스토리지로 자동 오프로딩합니다. 핵심은 '투명하게(transparently)' 동작한다는 점입니다. 애플리케이션 코드를 수정할 필요 없이 기존 CUDA 워크로드에 바로 적용할 수 있습니다.
실용적 의미
- 로컬 LLM 추론: 8GB VRAM GPU에서도 더 큰 모델을 실험할 수 있는 가능성
- 비용 절감: 클라우드 A100을 빌리는 대신 기존 하드웨어를 최대한 활용
- 프로토타이핑: 모델 크기를 먼저 테스트하고, 필요한 만큼만 GPU를 스케일업
주의할 점
아직 초기 프로젝트이고 커밋 수나 커뮤니티 규모가 작은 편입니다. 프로덕션 환경보다는 개인 실험이나 학습 목적으로 시도해볼 만합니다. VRAM 부족으로 고생해보신 분들, 어떤 방법으로 해결하고 계신가요?
🔗 출처: Hacker News