매일 들어오는 글 가운데, TTJ가 한 번 더 읽어본 것들. 코딩과 AI 시대를 가로지르는 글로벌 동향을 한곳에 모았습니다.
오픈소스 대형 언어 모델을 로컬에서 돌려보고 싶어도 메모리 벽에 막히는 경우가 많죠. 80B(800억 파라미터)급 모델이면 4비트로 양자화해도 보통 40GB가 넘는 메모리가 필요하거든요. 그런데 Swiftlet이라는 프로젝트가 맥에서 램 4.3GB로 Qwen3-Next-80B를 돌리고, 아이폰에서 30B급 MoE 모델까지 돌리는 걸 보여줬어요. 애플 실...