마이크로컨트롤러 위에서 대규모 언어 모델을 돌린다는 발상은 오랫동안 실험적 호기심의 영역이었다. 최근 공개된 오픈소스 프로젝트 'ESP32s3-LLM-Cluster'는 이 발상을 한 걸음 더 밀어붙인다. ESP32-S3 보드 7개를 묶어 하나의 분산 추론 엔진을 구성하고, 그 위에서 소형 언어 모델을 1.58비트(BitNet) 방식으로 양자화해 실행한다. 값싼 IoT용 칩에서 언어 모델 추론을 어디까지 쪼개어 감당할 수 있는지를 보여주는, 일종의 극한 실험에 가깝다.
어떻게 동작하나
프로젝트의 구조는 파이프라인 병렬화의 교과서적 형태를 따른다. 7개의 ESP32-S3 중 한 대가 마스터 역할을 맡아 토크나이저와 임베딩 단계를 처리하고, 나머지 노드들이 어텐션 레이어와 MLP 연산을 나누어 맡는다. 즉 모델을 레이어 단위로 잘라(sliced) 각 노드에 배분하고, 입력 토큰이 마스터에서 시작해 노드들을 차례로 거치며 최종 출력에 도달하는 방식이다. 모델 규모는 설명에 따라 0.4B에서 0.5B 사이의 소형 모델로 제시되는데, 단일 마이크로컨트롤러의 메모리로는 통째로 담기 어려운 크기다. 여러 대에 나눠 싣는 이유가 여기에 있다.
노드 간 통신에는 고속 SPI 데이지체인(daisy-chain)이 쓰인다. 이더넷이나 와이파이 대신 SPI를 택한 점은 이 설계의 성격을 잘 드러낸다. 데이지체인은 각 노드를 사슬처럼 순차적으로 연결하는 방식으로, 파이프라인 추론처럼 데이터가 한 방향으로 흐르는 작업과 궁합이 맞는다. 토큰이 레이어를 따라 순차적으로 이동하는 구조이기 때문에, 복잡한 네트워크 스택 없이도 인접 노드로 중간 활성값(activation)을 넘겨주는 것으로 추론이 진행된다.
1.58비트 양자화가 핵심인 이유
이 프로젝트를 가능하게 하는 기술적 전제는 BitNet 계열의 1.58비트 양자화다. 통상적인 모델 가중치가 16비트나 8비트로 표현되는 것과 달리, 1.58비트 방식은 각 가중치를 -1, 0, +1의 세 가지 값(삼진, ternary)만으로 표현한다. 값이 세 개뿐이라는 것은 로그2(3)≈1.58비트라는 정보량으로 계산되며, 여기서 '1.58비트'라는 이름이 나왔다. 가중치가 삼진값이 되면 곱셈이 사실상 덧셈과 부호 반전으로 단순해져, 부동소수점 연산 유닛이 빈약한 마이크로컨트롤러에서도 행렬 연산 부담이 크게 줄어든다.
메모리 관점에서도 이 방식은 결정적이다. ESP32-S3는 내장 SRAM과 외부 PSRAM을 합쳐도 수백 킬로바이트에서 수 메가바이트 수준의 메모리만 다룰 수 있는 칩이다. 수억 개 파라미터를 가진 모델을 16비트로 저장하면 단일 칩에 올릴 방법이 없지만, 가중치를 삼진값 수준까지 압축하고 그마저도 여러 노드에 분산하면 각 노드가 감당할 몫이 현실적인 범위로 내려온다. 결국 BitNet식 양자화와 클러스터 분산은 하나의 목표—제한된 하드웨어에 모델을 욱여넣는 것—를 서로 다른 축에서 함께 해결하는 조합이다.
실무자가 읽어야 할 지점
이 프로젝트가 당장 제품에 쓸 도구라고 보기는 어렵다. 오히려 엣지 추론의 설계 선택지를 구체적으로 보여준다는 데 의미가 있다. 첫째, 모델 병렬화가 GPU 클러스터만의 이야기가 아니라는 점이다. 파이프라인 분할과 노드 간 활성값 전달이라는 원리는 규모와 무관하게 동일하며, 저가 칩에서도 그 구조를 그대로 구현할 수 있음을 보여준다. 둘째, 통신 방식의 선택이 성능을 좌우한다는 점이다. 순차적 데이터 흐름에 SPI 데이지체인을 매칭한 결정은, 엣지 환경에서 어떤 상호연결을 고르느냐가 곧 병목을 결정한다는 익숙한 교훈을 다시 확인시킨다.
한계도 분명히 짚어야 한다. 공개된 정보만으로는 실제 추론 속도(초당 토큰 수), 지연 시간, 소비 전력, 출력 품질 같은 정량 지표를 확인할 수 없다. 삼진 양자화는 메모리와 연산을 극적으로 줄이지만 그만큼 정확도 손실이 따르기 마련이고, 0.5B 안팎의 소형 모델이라는 점까지 감안하면 생성 결과의 실용성에는 신중할 필요가 있다. 또한 7대를 순차 연결한 파이프라인은 한 노드가 지연되면 전체가 밀리는 구조라, 처리량과 안정성 측면에서 검증이 더 필요하다. 프로젝트가 MIT 라이선스로 공개되어 있고 워크플로 가이드를 함께 제공하는 만큼, 관심 있는 개발자라면 직접 재현해 이 지표들을 측정해 보는 것이 가장 확실한 평가 방법이다. 상용화 여부와 별개로, 저비용 하드웨어에서 언어 모델을 실행하는 실험이 어디까지 왔는지를 가늠하게 해 주는 참고점으로서 충분한 가치가 있다.