매일 들어오는 글 가운데, TTJ가 한 번 더 읽어본 것들. 코딩과 AI 시대를 가로지르는 글로벌 동향을 한곳에 모았습니다.
LLM을 로컬에서 돌려본 분이라면 다들 아는 공식이 있어요. 모델의 파라미터(가중치) 하나가 16비트 부동소수점이면 2바이트니까, 260억 개(26B) 파라미터 모델은 대략 52GB 메모리가 필요해요. 4비트로 양자화해도 13~16GB는 있어야 하고요. 양자화(quantization)가 뭐냐면, 가중치 숫자 하나하나를 더 적은 비트로 뭉뚱그려 저장해서 ...