'8B 모델 파인튜닝하려면 GPU 뭐 써야 하나요?'라고 물으면 보통 '최소 24GB, 가능하면 A100이요'라는 답이 돌아와요. 그런데 이 상식에 도전하는 오픈소스 프로젝트가 나왔어요. Soup라는 도구인데, 4GB 메모리짜리 노트북 GPU로 80억 파라미터(8B) 모델을 파인튜닝할 수 있다고 해요. RTX 3050 노트북 같은, 흔한 게이밍 노트북 사양으로요.
왜 원래는 안 되는 건지부터 볼게요
8B 모델의 가중치를 흔히 쓰는 fp16(16비트 부동소수점) 형식으로 메모리에 올리면 그것만 16GB예요. 파라미터 하나당 2바이트니까요. 그런데 학습은 추론보다 훨씬 많은 메모리를 먹어요. 가중치를 얼마나 고칠지 계산한 그래디언트가 가중치와 같은 크기로 16GB, 요즘 표준인 Adam 옵티마이저가 파라미터마다 유지하는 보조 값이 또 32GB, 여기에 순전파 중간 계산 결과(활성값)까지 더하면 풀 파인튜닝에는 60GB가 훌쩍 넘는 메모리가 필요해요. 4GB GPU는 가중치의 4분의 1도 못 올리는 상황인 거죠.
그럼 어떻게 우겨넣었을까요
비결은 새로운 마법이라기보다, 검증된 메모리 절약 기법들을 끝까지 밀어붙인 조합이에요.
첫 번째는 4비트 양자화예요. 이게 뭐냐면, 가중치를 16비트 대신 4비트로, 즉 파라미터당 0.5바이트로 압축해서 저장하는 거예요. 고화질 사진을 용량 줄여 저장하는 것과 비슷한데, QLoRA 논문에서 제안된 NF4 같은 형식을 쓰면 정밀도를 놀랄 만큼 적게 잃으면서 16GB짜리 모델이 4~5GB로 줄어요.
두 번째는 LoRA예요. 압축한 원본 가중치는 아예 얼려두고(학습하지 않고), 그 옆에 아주 작은 '어댑터' 행렬을 붙여서 그것만 학습하는 방식이에요. 원본을 통째로 고치는 대신 포스트잇을 붙여서 수정사항만 적는다고 생각하면 돼요. 학습되는 파라미터가 전체의 1%도 안 되니까, 아까 말한 그래디언트와 옵티마이저 메모리가 수십 GB에서 수백 MB 수준으로 확 줄어요. 이 둘을 합친 게 그 유명한 QLoRA고요.
세 번째는 그래디언트 체크포인팅인데요, 순전파 때의 중간 계산 결과를 다 저장하지 않고 필요할 때 다시 계산하는 기법이에요. 메모리를 아끼는 대신 계산을 더 하는, 전형적인 메모리-시간 맞교환이죠. 여기에 GPU에 안 들어가는 부분을 일반 RAM으로 넘기는 CPU 오프로딩, 배치 크기를 1로 두고 여러 스텝의 그래디언트를 모아서 한 번에 업데이트하는 gradient accumulation까지 얹으면, 4GB 안에서 학습이 돌아가는 그림이 완성돼요.
이미 있던 것들과 뭐가 다른가요
사실 QLoRA 자체는 Hugging Face의 PEFT와 bitsandbytes 조합으로 이미 쓸 수 있고, Unsloth 같은 프로젝트는 메모리와 속도를 한층 더 최적화해 놨어요. 다만 이런 도구들도 보통 8GB 정도는 있어야 8B 모델을 다룰 수 있다고 안내해요. Soup의 의의는 그 한계선을 4GB까지 끌어내리면서, 복잡한 설정 없이 노트북에서 바로 돌려볼 수 있게 접근성을 높였다는 데 있어요. '파인튜닝은 서버실의 일'이라는 인식을 '내 노트북에서 되는 일'로 바꾸는 로컬 AI 민주화 흐름의 연장선인 거죠.
그래서 뭘 해볼 수 있냐면
이게 실무적으로 의미 있는 이유는, 파인튜닝의 진입장벽이 곧 실험의 진입장벽이기 때문이에요. 회사 문서 스타일에 맞춘 요약 모델이나 사내 용어를 아는 분류 모델을 만들 때, 데이터를 외부 API로 보내지 않고 내 노트북 안에서 튜닝할 수 있다는 건 보안 관점에서도 매력적이거든요. 다만 기대치는 현실적으로 잡아야 해요. 4GB 환경에선 학습 속도가 많이 느리고, LoRA는 말투나 출력 형식을 다듬는 데는 강하지만 모델에 새로운 지식을 대량으로 주입하는 데는 한계가 있어요. 작은 데이터셋으로 스타일·포맷 튜닝부터 시작해 보는 걸 추천해요.
정리하면, 검증된 최적화 기법을 잘 엮으면 8B 파인튜닝도 평범한 노트북의 영역으로 내려온다는 거예요. 여러분은 파인튜닝해 보고 싶은 나만의 모델이 있으신가요? 어떤 데이터로 뭘 만들어보고 싶은지 궁금하네요.
🔗 출처: Hacker News