매일 들어오는 글 가운데, TTJ가 한 번 더 읽어본 것들. 코딩과 AI 시대를 가로지르는 글로벌 동향을 한곳에 모았습니다.
## AI 모델을 가볍게 만드는 마법, 양자화란? 요즘 로컬에서 LLM을 돌려보신 분이라면 "4bit 양자화", "GPTQ", "GGUF" 같은 단어를 한번쯤 보셨을 거예요. 모델 다운로드 페이지에 가면 같은 모델인데 용량이 70GB짜리도 있고 4GB짜리도 있거든요. 이 차이를 만드는 핵심 기술이 바로 양자화(Quantization)인데요, 이번에 n...