AI·바이브코딩 기술 트렌드

AMD Strix Halo 미니PC 여러 대를 RDMA로 묶어 LLM 분산 추론하기

## 책상 위에 LLM 클러스터 만들기 요즘 거대 언어 모델(LLM)을 클라우드가 아니라 내 책상 위에서 직접 돌려보고 싶어하는 분들이 많아졌어요. 그런데 막상 해보면 벽에 부딪히죠. 모델이 너무 크거든요. 700억 파라미터(70B)짜리 모델만 해도 메모리가 수십 GB씩 필요한데, 웬만한 그래픽카드 한 장으로는 감당이 안 돼요. 여기서 주인공이 등장...