에이전트가 몇 시간, 며칠씩 읽고 계획하고 도구를 호출하는 시대가 되면서 추론(inference) 비용 구조가 바뀌고 있다. 채팅 시절과 달리 토큰 소비량이 폭발적으로 늘었고, 그 토큰 하나하나가 모델 전체를 한 번 통과하는 순전파(forward pass)를 필요로 한다. Inco AI가 공개한 DFlash 2는 바로 이 지점을 겨냥한 추측 디코딩(speculative decoding) 기술로, 자기회귀 디코딩과 동일한 출력을 유지하면서 약 3배 빠른 속도를 낸다고 밝혔다. 이번 발표와 함께 Qwen3.8-27B와 메타의 Muse Glimmer용 드래프터가 공개됐다.
추측 디코딩과 '한 번의 순전파'
추측 디코딩은 작은 초안 모델이 여러 토큰으로 이뤄진 블록을 미리 추측하면, 크기가 큰 타깃 모델이 그 블록 전체를 한 번의 순전파로 검증하는 방식이다. 추측이 맞으면 한 번의 패스로 여러 토큰을 얻고, 틀리면 버린다. 문제는 초안 생성 자체가 오랫동안 자기회귀 방식, 즉 한 번에 한 토큰씩 만드는 구조에 머물러 있었다는 점이다. 지난 1월 공개된 초대 DFlash는 이 초안 단계마저 한 번의 패스로 바꿔, 블록의 모든 위치를 병렬로 예측했다. 이후 DFlash는 SGLang, vLLM, TensorRT-LLM, llama.cpp에 탑재됐고, 허깅페이스 기준 350만 회 이상 내려받아졌다고 회사는 설명한다.
DFlash 2는 이 병렬 초안을 한 단계 더 밀어붙인다. 검증 패스당 출력을 20% 이상 늘리면서도 사이클 지연은 약 1% 증가에 그치고, 출력은 이론적으로 변하지 않는다는 것이 핵심 주장이다. 벤치마크 전반에서 향상 폭은 16~25%로 나타났고, 이번에 공개된 Qwen3.8-27B 드래프터로 SGLang은 배치 크기 1에서 자기회귀 대비 2.7~3.4배 처리량을 냈다고 한다.
후보를 '고르는' 문제와 '연결하는' 문제
병렬 예측의 약점은 각 위치를 독립적으로 뽑다 보니 개별 토큰은 그럴듯해도 블록 전체가 매끄럽게 이어지지 않는다는 데 있다. 흥미로운 점은 정답이 대체로 후보 안에 이미 들어 있다는 사실이다. 첫 위치에서 최상위 예측이 맞을 확률은 85.4%지만, 상위 16개 후보 안에 정답이 있을 확률은 99.5%에 달한다. 즉 최상위가 틀려도 정답은 목록에 있는 경우가 많다. 상위 16개에서 항상 정답을 고르는 이상적 선택기를 가정하면 수용 길이가 4.27에서 6.79로 뛴다.
DFlash 2는 이 여백을 '선택기(selector)'로 메운다. 각 위치의 상위 16개 후보를 유지하고 인접한 후보 쌍을 점수화하는데, 점수는 드래프터가 원래 부여한 로짓과, 앞 토큰에 이어질 적합도를 256차원 임베딩과 문맥 게이트로 계산한 값을 결합한다. 저자들은 이를 인접 후보에 대한 저차원 쌍선형 어텐션이라 표현한다. 채점은 완전히 병렬로 이뤄지고, 순차적인 작업은 마지막에 점수를 따라 최적 경로를 걷는 부분뿐이다. 이 선택기는 T=0에서 0.34, T=1에서 0.47 토큰을 개선하며, DSpark 방식의 보정보다 약 40배 적은 파라미터와 16배 낮은 지연으로 더 나은 성능을 낸다고 한다. '예측하는 것보다 고르는 것이 싸다'는 것이 이들의 결론이다.
블록 뒷부분이 흐려지는 문제
또 다른 한계는 블록 후반으로 갈수록 정확도가 떨어지는 '접미부 감쇠(suffix decay)'다. 이상적 선택기를 써도 첫 위치 99.5%에서 마지막 위치 87.8%로 떨어지는데, 이는 후보 자체가 고갈되는 백본(backbone)의 문제라 선택기로는 해결되지 않는다. 층을 5개에서 15개로 늘리면 후반 정확도가 회복되지만, 무차별적으로 용량을 더해 초반 위치까지 부풀리고 효율이라는 장점을 깎아먹는다.
DFlash 2는 어텐션이 블록 내부 의존성에 쓰는 비중이 1층 30%에서 5층 8%로 줄어드는 현상에 착안해, 문맥 읽기는 어텐션에 맡기고 블록 내부의 짧은 범위 작업은 별도 모듈로 분리했다. 블록이 4~16개 토큰에 불과하고 가장 강한 의존이 이웃 사이에 있다는 점을 이용해, 현재 위치와 한 칸 앞을 참조하는 2탭 동적 깊이별 합성곱을 넣었다. 이 방식은 1650만 파라미터(3%)만 추가하면서 5층 모델을 15층에 근접시키고, 사이클 지연은 0.7%만 늘어난다. 열 개 층을 더하면 15.2%가 붙는 것과 대비된다.
실무적 의미와 남은 여백
선택기와 합성곱을 합치면 DFlash 대비 평균 1.05 토큰(21%), DSpark 대비 0.48 토큰을 벌면서 추가 지연은 1.3%에 그친다. MATH-500에서는 마지막 위치까지 약 86%를 유지해 기준선을 6~9점 앞섰다. 실측 처리량은 Qwen3.8-27B에서 2.7~3.4배, Muse Glimmer에서 3.1~4.6배로 제시됐다. 토큰당 연산을 약 3분의 1로 줄이면서 출력은 동일하다는 점은, 에이전트가 하루에 챗봇 한 달치 분량을 써내는 워크로드에서 직접적인 비용 절감으로 이어질 수 있다.
다만 이 수치들은 회사 자체 블로그의 발표이며 외부 독립 검증은 아직 별개의 확인이 필요하다. 벤치마크는 배치 크기 1 조건이 강조돼 있어 고동시성 환경에서의 이득은 모델 카드의 세부 분해를 살펴야 하고, 비교 대상인 DSpark와 DFlash 드래프터를 저자들이 직접 학습시켰다는 점도 감안해야 한다. 이상적 선택기가 도달하는 6.79에 아직 못 미친다는 저자들의 언급처럼, 쌍선형 점수화는 가장 단순한 선택기일 뿐 개선의 여지가 남아 있다. 특정 모델이나 사내 파인튜닝 모델용 드래프터가 필요한 팀이라면 스택에 실제로 적용해 자체 워크로드로 검증해 보는 것이 이 기술을 판단하는 가장 확실한 방법이다.