조 단위 모델을 빠르게 서빙하는 일
요즘 프런티어급 모델을 보면 파라미터 수가 '조(trillion)' 단위까지 올라가고 있어요. 문제는 이런 모델을 빠르게 서빙하기가 정말 어렵다는 거예요. Cerebras가 조 단위 파라미터 모델을 자사 하드웨어에 올려서 서비스하는 과정을 공개했는데요, 이 이야기를 제대로 이해하려면 먼저 Cerebras 칩이 왜 특이한지부터 알아야 해요.
Cerebras 칩은 뭐가 다를까
보통 반도체는 동그란 실리콘 웨이퍼 한 장에서 손톱만 한 칩을 수십에서 수백 개 잘라내서 만들어요. Cerebras는 반대로 웨이퍼 한 장을 통째로 칩 하나로 써요. 이걸 WSE(Wafer-Scale Engine)라고 부르고, 최신 WSE-3는 트랜지스터 약 4조 개와 AI 코어 약 90만 개에 칩 내부 SRAM 44GB를 품고 있어요.
여기서 핵심은 SRAM이에요. SRAM은 연산 장치 바로 옆에 붙어 있는 초고속 메모리예요. GPU는 HBM이라는 외부 메모리에서 가중치를 계속 불러와야 하는데, 비유하면 요리사가 재료를 꺼내러 매번 창고(HBM)에 다녀오는 셈이에요. Cerebras는 재료를 조리대 위(SRAM)에 다 펼쳐놓고 요리하니까 가지러 가는 시간이 거의 없어요. LLM이 토큰을 하나씩 생성하는 디코딩 단계는 계산 속도보다 메모리에서 가중치를 읽어오는 속도에 묶이는 경우가 많아서, 이 차이가 그대로 초당 토큰 수 차이로 이어져요.
44GB로 1조 파라미터를 어떻게 담을까
간단히 계산해볼게요. 파라미터 1조 개를 8비트(1바이트)로 저장하면 약 1TB, 16비트로 저장하면 약 2TB예요. 웨이퍼 한 장의 SRAM이 44GB니까 8비트 기준으로도 가중치만 담는 데 웨이퍼가 20장 넘게 필요해요. 여기에 KV 캐시(앞서 처리한 토큰들의 계산 결과를 다시 쓰려고 저장해두는 메모리)까지 더하면 필요한 용량이 더 늘어나죠.
그래서 기본 전략은 모델을 여러 웨이퍼에 나눠 담는 것이에요. 대표적인 방법이 파이프라인 병렬화인데요, 공장 컨베이어 벨트를 떠올리면 쉬워요. 1번 웨이퍼가 앞쪽 레이어들을 처리한 결과(활성값)를 2번 웨이퍼에 넘기고, 2번이 다음 레이어들을 처리해서 3번에 넘기는 식이에요. 각 웨이퍼는 자기가 맡은 레이어의 가중치만 SRAM에 들고 있으면 돼요. 여러 요청을 동시에 흘려보내면 모든 웨이퍼가 쉬지 않고 일하게 만들 수 있고요.
또 하나 중요한 점은 요즘 조 단위 모델 대부분이 MoE(Mixture of Experts) 구조라는 거예요. 여러 전문가(expert) 중에서 토큰마다 몇 개만 골라 일을 시키는 구조라서, 전체 파라미터가 1조여도 토큰 하나를 처리할 때 실제로 쓰는 건 수백억 개 수준이에요. 계산량은 줄어들지만 어떤 전문가가 불릴지 미리 알 수 없으니 모든 가중치가 메모리에 올라가 있어야 해요. 결국 전체 메모리 용량과 전문가 사이의 데이터 이동이 설계의 핵심 과제가 돼요.
업계 맥락
초고속 추론을 두고 회사마다 해법이 달라요. NVIDIA는 GB200 NVL72처럼 GPU 72개를 하나의 거대한 시스템으로 묶어 HBM 총량을 10TB 이상으로 키우는 랙 스케일 방향으로 가고 있어요. Groq는 칩마다 작은 SRAM을 두고 칩 수백 개를 엮는 방식이라 Cerebras와 철학은 비슷한데, 나누는 단위가 훨씬 잘아요. SambaNova는 SRAM, HBM, DDR로 이어지는 3단 메모리 계층으로 큰 모델을 감당하려 하고요.
Cerebras의 강점은 웨이퍼 한 장 안에서 끝나는 통신 범위가 넓어서 칩 사이 통신 오버헤드가 적다는 거예요. 약점은 SRAM이 아무리 커도 용량당 가격이 HBM보다 비싸다는 점이에요. 그래서 조 단위 모델에서는 웨이퍼 몇 장을 어떻게 엮느냐가 비용과 속도를 함께 좌우해요.
한국 개발자에게 주는 시사점
웨이퍼를 직접 살 일은 없겠지만, 영향은 생각보다 가까이 있어요. 첫째는 API 선택지예요. Cerebras는 OpenAI 호환 API로 추론 서비스를 제공하고 있어서, 코딩 에이전트처럼 토큰을 많이 생성하는 작업이라면 속도 차이를 직접 느껴볼 수 있어요. 응답이 몇 배 빨라지면 에이전트가 같은 시간 안에 훨씬 많은 시도를 할 수 있거든요.
둘째는 국산 AI 반도체 흐름과 이어서 보는 거예요. 퓨리오사AI, 리벨리온 같은 국내 기업들도 추론 전용 칩에 집중하고 있는데, 메모리를 어디에 얼마나 두느냐는 질문은 이 회사들에게도 똑같이 핵심이에요. 셋째, 서빙 엔지니어라면 파이프라인 병렬화, 텐서 병렬화, 전문가 병렬화 같은 분산 추론 개념을 지금 익혀두세요. GPU 환경에서도 그대로 쓰이거든요. vLLM이나 SGLang의 설정 옵션들도 결국 다 이 개념에서 나와요.
마무리
한 줄 정리: 조 단위 모델 서빙의 승부처는 연산 속도보다, 가중치를 얼마나 가까이 얼마나 많이 둘 수 있느냐예요.
여러분은 LLM API를 고를 때 가격, 품질, 속도 중 무엇을 가장 먼저 보시나요? 응답 속도가 몇 배 빨라진다면 어떤 서비스를 새로 만들어보고 싶으세요?
🔗 출처: Hacker News