API 청구서 걱정 없이 내 방에 AI 개발 서버 차리기 — 홈랩 AI 플랫폼 이야기

클라우드 API 청구서에 놀란 적 있다면

요즘 코딩할 때 AI 도움 안 받는 분 거의 없죠. 그런데 ChatGPT나 클로드 API를 본격적으로 쓰기 시작하면 월 청구서가 만만치 않아요. 게다가 회사 코드나 민감한 데이터를 외부 API로 보내는 게 영 찜찜할 때도 있고요. 그래서 점점 더 많은 개발자들이 '집에 있는 컴퓨터(홈랩)에 직접 AI 개발 환경을 차리는' 쪽으로 눈을 돌리고 있어요. 이번에 소개할 글은 한 개발자가 자기 홈랩에 AI 개발 플랫폼을 통째로 구축한 경험담이에요.

홈랩(Homelab)이 뭐냐면, 말 그대로 집에 둔 작은 서버 실험실이에요. 안 쓰는 PC 한 대, 혹은 중고로 산 워크스테이션에 GPU를 꽂아 두고 24시간 돌리는 거죠.

무엇으로 이뤄져 있나

이런 플랫폼의 뼈대는 크게 세 부분이에요.

첫째, 로컬 추론 서버. 모델을 직접 돌리는 부분이에요. Ollama나 vLLM, llama.cpp 같은 도구를 쓰면 오픈소스 모델(예: Llama, Qwen, DeepSeek 계열)을 내 GPU에서 바로 실행할 수 있어요. 이게 뭐냐면, OpenAI 서버에 요청을 보내는 대신 내 방 서버가 그 역할을 대신하는 거예요. vLLM 같은 도구는 여러 요청을 효율적으로 묶어 처리해줘서, 혼자 쓸 때도 응답이 꽤 빠릿빠릿해요.

둘째, 에디터 연동. 아무리 좋은 모델이 있어도 결국 코딩은 에디터에서 하잖아요. Continue나 Aider 같은 도구를 쓰면 VS Code나 터미널에서 '이 함수 리팩터링해줘' 같은 요청을 로컬 모델로 보낼 수 있어요. 클라우드 코파일럿을 쓰던 경험을 거의 그대로, 대신 공짜로 그리고 내 데이터를 밖으로 안 보내면서 쓰는 거죠.

셋째, 운영 기반. 서버를 계속 돌리려면 관리가 필요해요. Proxmox(가상화), 도커(Docker)나 쿠버네티스(컨테이너 오케스트레이션)로 여러 서비스를 깔끔하게 나눠 돌리고, 모니터링 도구로 GPU 온도와 메모리 사용량을 지켜보는 식이에요. 여기에 자체 호스팅 깃 서버(Gitea·Forgejo)나 CI까지 얹으면 작은 개인용 클라우드가 완성돼요.

클라우드 대비 장단점

장점은 분명해요. 한번 하드웨어를 사두면 토큰 단위 과금이 없으니 마음껏 실험할 수 있고, 데이터가 집 밖으로 안 나가니 프라이버시 걱정이 줄어요. 인터넷이 끊겨도 동작하고요. 단점도 솔직히 있어요. GPU가 비싸고(특히 큰 모델일수록 VRAM이 많이 필요해요), 전기요금이 들고, 무엇보다 최상급 상용 모델만큼의 성능을 내려면 아주 비싼 장비가 필요해요. 그래서 현실적으로는 '간단한 작업은 로컬, 어려운 작업은 클라우드'로 섞어 쓰는 하이브리드 구성이 많아요.

한국 개발자에게

전기요금과 집 환경을 생각하면 한국에서 풀스펙 홈랩은 부담스러울 수 있어요. 하지만 RTX 4070~4090급 그래픽카드 한 장만 있어도 7B~32B 규모 모델은 충분히 돌릴 수 있고, 이 정도만 해도 코드 자동완성이나 사내 문서 검색(RAG) 용도로는 훌륭해요. 특히 보안 규정 때문에 외부 AI API를 못 쓰는 회사라면, 이런 자체 호스팅 구성이 현실적인 대안이 돼요. 거창하게 시작할 필요 없이 Ollama 하나 깔아서 모델 하나 돌려보는 것부터가 좋은 출발이에요.

핵심은 'AI를 빌려 쓰는 것에서, 내 인프라로 소유하는 것으로' 흐름이 생기고 있다는 거예요. 여러분은 로컬 모델, 한번 진지하게 써보셨나요? 어떤 작업까지는 로컬로 충분하고, 어디서부터는 클라우드가 필요하다고 느끼셨어요?