세레브라스가 만든 OpenAI '울트라패스트' 모드, 초당 750토큰의 의미

OpenAI와 세레브라스(Cerebras)가 OpenAI API에 새로운 서비스 등급인 '울트라패스트(Ultrafast) 모드'를 선보였다. 이 모드는 세레브라스의 하드웨어 위에서 GPT-5.6 Sol 모델을 구동해 초당 최대 750개의 출력 토큰을 생성한다고 한다. 현재는 일부 선별된 고객에게만 제공되는 제한적 프리뷰 단계이며, 처리 용량이 확보되는 대로 접근 범위를 넓혀갈 계획이다. 발표의 핵심 주장은 '품질을 희생하지 않으면서' 속도만 끌어올렸다는 것이다.

속도와 지능의 오래된 딜레마

AI 서비스를 만드는 쪽에서는 늘 속도와 지능 사이에서 타협해야 했다. 모델이 커지고 똑똑해질수록 연산량과 데이터 이동 비용이 늘어 응답이 느려지기 때문이다. 그래서 지금까지는 좋은 답을 오래 기다리거나, 빠르지만 다소 떨어지는 답을 받는 두 갈래 중 하나를 골라야 했다. 울트라패스트는 이 트레이드오프를 겨냥한 제품이다. 세레브라스가 인용한 Artificial Analysis의 출력 속도 기준으로, GPT-5.6 Sol 울트라패스트는 Fable 5보다 11배, 패스트 모드의 Opus 4.8보다 5배 빠르다고 제시했다.

세레브라스는 자체 벤치마크도 공개했다. 화학·경제학·문학 등 박사급 지식이 있어야 풀 수 있는 2,500문항으로 구성된 난도 높은 시험 'Humanity's Last Exam(HLE)'에서, GPT-5.6 Sol 울트라패스트가 전 문항을 11시간 11분 만에 처리한 반면 Claude Fable 5는 같은 결론에 도달하는 데 78시간 27분, 사흘 넘는 연속 연산이 필요했다고 밝혔다. 정확도는 비슷한 수준을 유지하면서 약 7배 빨랐다는 설명이다. 경제적 가치가 있는 지식노동을 평가하는 GDP-Val에서도 품질 저하 없이 5.6배의 종단 간(end-to-end) 속도 향상을 기록했다고 덧붙였다.

벤치마크를 읽을 때 유의할 점

다만 이 수치들은 모두 세레브라스가 직접 측정한 것이라는 점을 감안해야 한다. HLE 측정은 GPT-5.6 Sol 울트라패스트를 Codex의 xhigh 추론 설정으로 7월 10일에, Claude Fable 5는 Claude Code의 xhigh 설정으로 7월 13~15일에 각각 실행했고, GDP-Val은 7월 31일 Codex 내 medium 추론으로 진행됐다. 비교 대상, 추론 강도, 측정 시점, 실행 도구가 항목마다 다르기 때문에 '몇 배 빠르다'는 표현을 그대로 절대치로 받아들이기보다 대략적인 체감 차이로 이해하는 편이 안전하다. 벤더가 자사 제품에 유리한 조건을 고른 셈이므로, 실제 워크로드에서의 수치는 직접 검증해봐야 한다.

어디에 쓸 수 있나

속도가 문제 해결의 임계 경로(critical path)에 놓인 상황이 주된 활용처로 제시된다. 웹 서비스를 운영하는 기업은 프로덕션 장애의 근본 원인을 빠르게 짚어 SLA상의 다운타임을 줄일 수 있고, 보안팀은 공격을 탐지하고 대응하는 시간을 단축해 피해 확산을 막을 수 있다는 것이다. 또한 응답이 실시간에 가까워지면, 여러 병렬 세션을 오가며 맥락을 전환하지 않고도 에이전트를 붙잡고 대화하듯 쓸 수 있다는 점을 강조한다. 대량의 정형 작업은 기존 표준 처리로 병렬화하고, 정말 중요한 문제에만 울트라패스트를 배치하는 식의 역할 분담을 권한다.

기술적으로 이 속도는 세레브라스의 웨이퍼 스케일 엔진(Wafer-Scale Engine) 구조에서 나온다. 큰 모델의 추론에서 진짜 병목은 연산이 아니라 데이터 이동이다. GPU에서는 토큰을 하나씩 생성할 때마다 모델 가중치를 온칩 메모리와 외부 저장소 사이에서 반복적으로 옮겨야 해 메모리 대역폭에 발목이 잡힌다. 세레브라스는 웨이퍼 한 장에 44GB의 SRAM을 통째로 얹어 가중치를 칩 위에 상주시키고, 토큰이 웨이퍼에 걸쳐 파이프라인된 레이어를 끊김 없이 흐르게 하는 방식으로 이 이동을 없앴다. 이 접근은 모델 크기가 커져도 비교적 매끄럽게 확장된다는 것이 회사 측 주장이다.

실무자 입장에서 지금 당장 얻을 것은 제한적이다. 프리뷰가 소수 고객에 한정돼 있고 가격 정보도 없어, 대부분의 팀에게는 아직 검토 대상이라기보다 관찰 대상에 가깝다. 그럼에도 '전선(frontier)급 지능을 실시간 속도로'라는 방향성은 장애 대응, 보안, 실시간 에이전트처럼 지연이 곧 비용인 영역에서 설계 선택지를 바꿀 수 있다. 접근이 열리는 대로, 앞서 언급한 벤치마크 조건과 자사 워크로드의 간극을 스스로 재보는 것이 실질적인 첫 단계가 될 것이다.