LLM 파이프라인에서 우리는 늘 GPU 추론 속도에만 집중하지만, 정작 텍스트를 토큰으로 쪼개는 '토크나이징' 단계가 조용한 병목이 되는 경우가 많습니다. 대부분의 토크나이저(tiktoken, HuggingFace 등)는 CPU에서 순차적으로 BPE 병합을 처리하기 때문에, 대규모 데이터셋 전처리나 대량 추론에서 무시 못 할 시간을 잡아먹습니다.
GigaToken은 이 과정을 근본부터 다시 설계해 기존 대비 약 1000배 빠른 토크나이징을 목표로 합니다. 핵심 아이디어는 순차적 병합 과정을 병렬화 가능한 형태로 재구성하고, 대량 텍스트를 한꺼번에 처리하도록 최적화하는 것입니다. 결과의 정확성(동일한 토큰 출력)은 유지하면서 처리량만 극적으로 끌어올리는 방향입니다.
실무자에게 주는 인사이트는 분명합니다. 학습 데이터 전처리, 임베딩 대량 생성, RAG 인덱싱처럼 수십억 토큰을 다루는 작업이라면 전처리 파이프라인 자체가 비용과 시간의 핵심 변수가 됩니다. '모델만 빠르면 된다'는 통념을 넘어, 토크나이저 최적화가 실질적인 비용 절감으로 이어질 수 있다는 점을 GigaToken이 다시 상기시켜 줍니다.