세레브라스(Cerebras)가 추론 작업을 두 단계로 쪼개 서로 다른 하드웨어에 맡기는 '분리형 추론(disaggregated inference)'을 프로덕션에 투입했다. 입력 프롬프트를 처리하는 프리필(prefill)은 AMD 인스팅트(Instinct) GPU가 맡고, 출력 토큰을 생성하는 디코드(decode)는 자사의 웨이퍼 스케일 엔진이 담당하는 구조다. 회사는 이 조합으로 메가와트당 처리 토큰량을 5배로 늘리면서도 토큰 생성 속도는 전혀 떨어뜨리지 않았다고 밝혔다. 추론 성능을 '속도'와 '전력 효율'이라는 두 축으로 나눠 각각을 최적 하드웨어에 배분한 셈이다.
왜 프리필과 디코드를 나누나
추론 요청은 성격이 다른 두 국면으로 구성된다. 프리필은 입력 전체를 한 번에 처리해 모델의 중간 상태를 만들어내는 단계로, 연산량이 많아 GPU처럼 부동소수점 연산에 강한 가속기가 유리하다. 반면 디코드는 한 번에 토큰 하나씩 생성하고 그 토큰을 다시 입력으로 삼아 다음 토큰을 만드는 자기회귀(autoregressive) 방식이다. 매 단계마다 모델 가중치를 메모리에서 다시 읽어야 하므로 연산 능력보다 메모리 대역폭이 병목이 된다.
세레브라스가 디코드에 강점을 갖는 이유가 여기에 있다. 대역폭이 관건인 작업에서는 데이터를 칩 바깥의 HBM이 아니라 온칩 SRAM에 올려두고 읽는 편이 훨씬 빠르다. 세레브라스는 이를 웨이퍼 규모로 끌어올려 단일 칩에 수십 기가바이트의 SRAM과 초당 수십 페타바이트의 메모리 대역폭을 담았다. 회사 설명으로는 일반적인 GB300 GPU 대비 SRAM 용량 350배, 메모리 대역폭 5,400배에 해당한다. 그 결과 더 많은 동시 요청과 모델 레이어를 칩 위에 그대로 올려 빠른 속도를 유지한다는 것이다.
측정된 효과와 그 맥락
세레브라스 추론 클라우드의 실제 배포에서는 AMD 인스팅트 GPU가 프롬프트를 처리하고 CS-3 시스템이 응답을 생성한다. 프롬프트 처리를 GPU로 떼어내면 CS-3는 가진 자원을 응답 생성에만 집중할 수 있다. 회사가 11월 14일 공유형 GPT-OSS-120B 엔드포인트에서 측정한 결과, 이 조합은 CS-3만으로 구성했을 때 대비 메가와트당 처리량이 5배였고 토큰 생성 속도 손실은 없었다. 즉 같은 전력 예산으로 다섯 배 많은 고객을 받을 수 있다는 의미이며, 추론 사업자 입장에서는 동일한 전력으로 더 많은 매출을 낼 여지가 생긴다.
이런 투자의 배경에는 전력 제약이라는 산업 전반의 현실이 있다. 뮤즈, 코파일럿, 코덱스 같은 에이전트형 애플리케이션은 사용자를 붙잡아두기 위해 지연이 짧은 대화형 추론을 요구하며 사용량도 빠르게 늘고 있다. 세레브라스는 골드만삭스 리서치의 AI 에이전트 전망과 데이터센터 용량 추정을 근거로, 전력이 한정된 환경에서 메가와트당 추론 용량을 크게 키우는 것이 업계의 과제라고 설명한다. 분리형 추론은 바로 그 효율 지표를 끌어올리는 접근이다.
실무자가 짚어야 할 지점
한국의 인프라·플랫폼 담당자 입장에서 이 발표의 핵심은 '추론 워크로드를 단계별로 분해해 이기종 하드웨어에 배치하는' 설계 패턴 자체다. 세레브라스는 프리필-디코드 분리 외에도 드래프트-타깃, 어텐션-FFN 같은 다른 분할 방식이 존재한다고 언급하면서, 고도로 대화형인 추론을 목표로 할 때는 프리필과 디코드를 나누는 방식이 특히 유리하다고 본다. 자체 데이터센터를 운영하는 파트너도 이 솔루션을 가져다 쓸 수 있다고 밝혔다. 메모리 대역폭이 병목인 디코드와 연산량이 많은 프리필을 각기 다른 칩에 맡기는 발상은, 꼭 세레브라스 하드웨어가 아니더라도 추론 서빙 아키텍처를 고민할 때 참고할 만한 분해 전략이다.
다만 공개된 수치는 세레브라스가 자사 클라우드에서 자체 측정해 집계 기준(aggregated, 1배)으로 정규화한 값이라는 점을 감안해야 한다. 비교 대상이 CS-3 단독 구성이라는 특정 조건이고, 모델도 GPT-OSS-120B라는 단일 사례다. 5배라는 숫자가 다른 모델 크기나 입력·출력 길이 비율, 트래픽 패턴에서도 유지될지는 원문만으로는 확인되지 않는다. 또한 GPU와 웨이퍼 시스템 사이에서 중간 상태를 주고받는 데 따르는 네트워크 비용, 두 하드웨어의 부하 균형 같은 운영상의 과제는 이번 발표에서 구체적으로 다뤄지지 않았다. 세레브라스는 CS-4, 확대된 생산 능력, 700MW 규모의 데이터센터 계획과 함께 이 기술로 2027년 이후 더 많은 토큰을 공급하겠다고 밝혔지만, 실제 효율은 도입 환경에 따라 검증이 필요하다.