초당 1000토큰을 쏟아내는 샤오미 MiMo, 속도 전쟁이 시작됐다

1초에 책 몇 페이지 분량을 토해낸다고요?

LLM을 써보신 분들은 다 공감하실 거예요. 답변이 한 글자씩 또르륵 나오는 그 기다림, 은근히 답답하잖아요. 특히 코드 자동완성이나 실시간 대화처럼 즉각성이 생명인 작업에선 이 속도가 곧 제품 품질이거든요.

그런데 샤오미가 내놓은 MiMo-v2.5-Pro-UltraSpeed는 이름부터 대놓고 "울트라스피드"예요. 무려 1조(1T) 파라미터급 모델인데 초당 1000토큰을 생성한다고 주장하고 있어요. 토큰은 AI가 글을 쪼개서 다루는 단위인데, 한국어로 치면 대략 글자 한두 개쯤이라고 보시면 돼요. 초당 1000토큰이면 사람이 읽는 속도를 한참 추월하는, 거의 "순식간에 답이 완성되는" 수준이에요.

어떻게 이게 가능할까요?

보통 모델이 크면 느립니다. 1조 파라미터를 매 글자마다 다 동원하면 당연히 굼뜨겠죠. 그래서 요즘 거대 모델들이 쓰는 비법이 MoE(Mixture of Experts, 전문가 혼합) 구조예요. 이게 뭐냐면, 1조 개의 지식을 통째로 다 쓰는 게 아니라, 질문이 들어올 때마다 가장 관련 있는 "전문가" 몇 명만 깨워서 일을 시키는 방식이에요. 회사 전체 직원이 1000명이어도 회의엔 담당자 몇 명만 들어오는 것과 비슷해요. 그래서 모델 전체 크기는 거대해도, 실제로 한 번에 계산에 쓰이는 양(활성 파라미터)은 훨씬 적어서 빨라지는 거죠.

여기에 속도를 더 끌어올리는 기술이 보통 같이 들어가요. 대표적인 게 추측 디코딩(speculative decoding)인데요, 작고 빠른 모델이 다음 단어들을 미리 "이렇게 나올 것 같은데?" 하고 한꺼번에 추측해두면, 큰 모델은 그게 맞는지 검수만 하는 식이에요. 한 글자씩 그리는 대신 미리 그려둔 초안을 빠르게 채점하니 훨씬 빨라지는 거죠. 이런 알고리즘 최적화와 추론 엔진 튜닝이 합쳐져서 1000tps라는 숫자가 나온 걸로 보여요.

업계 흐름에서 보면

속도 경쟁의 또 다른 축은 하드웨어예요. Groq나 Cerebras 같은 회사들은 LLM 추론 전용 칩을 만들어서 초당 수백~수천 토큰을 뽑아내는 걸로 유명하거든요. 즉 "전용 칩으로 밀어붙이는 길"과 "모델 구조·알고리즘으로 짜내는 길"이 나란히 달리고 있는 셈이에요. MiMo는 후자 쪽 색이 강하고요.

또 하나 주목할 건 중국발 모델들의 약진이에요. DeepSeek가 효율적인 MoE로 충격을 줬고, 알리바바의 Qwen 시리즈도 강세죠. 거기에 가전·스마트폰 회사인 샤오미까지 자체 대형 모델을 미는 흐름은, 모델 개발이 더 이상 소수 AI 기업만의 영역이 아니라는 신호예요.

한국 개발자에게 주는 시사점

실무에서 LLM을 붙이는 분이라면 이제 모델을 고를 때 "얼마나 똑똑한가"만 보면 안 돼요. 응답 지연(latency)과 처리량(throughput)이 사용자 경험을 좌우하거든요. 챗봇은 첫 글자가 빨리 나오는 게 중요하고, 대량 문서 처리는 초당 총 토큰량이 중요하죠. MoE나 추측 디코딩 같은 개념을 알아두면, 같은 예산으로 더 빠른 서비스를 설계할 수 있어요. 다만 "1000tps" 같은 벤더 발표 수치는 이상적인 조건에서의 값일 수 있으니, 내 실제 워크로드로 직접 재보는 습관이 꼭 필요해요.