로컬 AI 실행 가능 여부를 한눈에
CanIRun.ai는 내 컴퓨터의 하드웨어 사양으로 어떤 AI 모델을 로컬에서 실행할 수 있는지 확인해주는 웹 서비스입니다. Hacker News에서 552점, 136개의 댓글을 받으며 뜨거운 반응을 얻었습니다.
왜 이게 필요한가
로컬 LLM 실행에 대한 관심이 폭발적으로 늘고 있지만, 실제로 돌리려면 넘어야 할 장벽이 있습니다.
- GPU VRAM: 모델 크기에 따라 필요한 VRAM이 천차만별입니다. Llama 3 8B는 8GB면 되지만, 70B 모델은 40GB 이상이 필요합니다.
- 양자화(Quantization): Q4, Q5, Q8 등 양자화 수준에 따라 필요 사양과 성능이 달라집니다.
- RAM과 CPU 폴백: GPU가 부족하면 CPU+RAM 조합으로도 (느리지만) 실행 가능한 경우가 있습니다.
한국 개발자에게 주는 시사점
OpenAI나 Claude API를 쓰면 편하지만, 데이터 프라이버시, 비용 절감, 오프라인 환경 등의 이유로 로컬 실행을 고려하는 경우가 점점 많아지고 있습니다. 특히 사내 문서를 다루는 RAG 파이프라인이나 에어갭 환경에서는 로컬 모델이 사실상 유일한 선택지이기도 합니다.
Ollama, llama.cpp, vLLM 같은 도구들과 함께, 이런 사양 확인 서비스가 나온다는 것 자체가 로컬 AI 생태계가 빠르게 성숙하고 있다는 신호입니다.
로컬 LLM 돌려보신 분들, 어떤 모델을 어떤 하드웨어에서 쓰고 계신가요?
🔗 출처: Hacker News