답이 한 글자씩 나오는 데는 이유가 있어요
ChatGPT나 Claude한테 뭘 물어보면 답이 한 번에 짠 하고 안 나오고 한 단어씩 또르르 흘러나오잖아요. 그거 그냥 멋있으라고 하는 연출이 아니에요. 거대 언어 모델(LLM, 엄청 큰 인공지능 언어 모델이라고 보시면 돼요)이 실제로 글을 만드는 방식이 원래 그래요.
이게 뭐냐면, LLM은 다음에 올 단어 한 개를 예측하고, 그 단어를 문장에 붙인 다음, 다시 그 전체를 보고 또 다음 단어 한 개를 예측해요. 이걸 '자기회귀(autoregressive)' 방식이라고 부르는데, 쉽게 말하면 '한 글자 쓰고 → 전체 다시 읽고 → 다음 글자 쓰고'를 계속 반복하는 거예요. 문제는 단어 하나 뽑을 때마다 수백억 개의 숫자(파라미터)로 이뤄진 그 거대한 모델 전체를 한 번씩 통과해야 한다는 거죠. 그래서 느리고, 또 그만큼 비싸요.
작은 모델한테 먼저 찍게 하고, 큰 모델은 채점만
스펙큘러티브 디코딩(speculative decoding)은 바로 이 '한 번에 한 글자'라는 한계를 영리하게 깨는 기술이에요. DeepSeek이 공개한 DSpark 자료도 이 계열의 접근이고요.
핵심 아이디어를 비유로 들면 이래요. 시험을 보는데 똑똑하지만 느린 교수님(큰 모델)이 모든 문제를 직접 푸는 대신, 빠르지만 살짝 덜렁대는 조교(작은 '초안' 모델)가 먼저 여러 문제를 후다닥 찍어요. 그러면 교수님은 조교가 찍은 답을 '한꺼번에' 쭉 채점하는 거죠. 조교가 맞힌 부분은 그대로 인정하고, 틀린 부분부터 다시 풀면 돼요.
기술적으로 풀면 이렇습니다. 먼저 작고 빠른 '초안 모델'이 다음에 올 단어 네다섯 개를 미리 쭉 예측해요. 그다음 진짜 크고 정확한 '본 모델'이 이 초안 단어들을 한 번의 계산으로 동시에 검증해요. 여기가 핵심인데요, 단어를 하나씩 새로 만들 때와 달리 이미 나와 있는 단어 여러 개를 검증하는 일은 병렬로 한 번에 처리할 수 있거든요. 초안이 맞았으면 단어 여러 개를 본 모델 한 번 돌린 비용으로 건진 거고, 틀린 단어가 나오면 거기서부터 본 모델이 직접 이어서 만들어요.
여기서 진짜 중요한 포인트가 하나 있어요. 이렇게 해도 최종 결과물의 품질이 전혀 떨어지지 않아요. 검증 단계에서 수학적으로 '본 모델이 혼자 만들었을 때와 똑같은 확률 분포'가 되도록 받아들이거나 거부하기 때문이에요. 즉 속도는 빨라지는데 답의 내용은 손해가 없는, 공짜 점심에 가까운 기술인 거죠. 보통 이런 방식으로 2~3배 정도의 속도 향상을 얻는다고 알려져 있어요.
비슷한 시도들과 어떻게 다른가
이 분야엔 이미 여러 사촌 기술들이 있어요. 메두사(Medusa)는 아예 본 모델에 '여러 단어를 동시에 예측하는 머리'를 여러 개 달아버리는 방식이고, EAGLE은 초안을 더 똑똑하게 뽑아서 적중률을 높이는 쪽으로 발전시켰어요. 별도의 초안 모델 없이 본 모델 자기 자신의 일부만 써서 초안을 만드는 '셀프 스펙큘러티브' 방식도 있고요. DeepSeek은 예전부터 MLA(메모리 절약형 어텐션)나 MoE(전문가 혼합) 같은 효율화 기술에 진심이었던 곳이라, 이번 작업도 그 연장선으로 보면 자연스러워요.
중요한 흐름은 이거예요. 모델을 더 크게 만들어서 똑똑하게 하는 경쟁은 이제 한계 비용이 너무 커졌고, 핵심 전쟁터는 '같은 모델을 어떻게 더 싸고 빠르게 굴리느냐'로 옮겨갔다는 거죠. 추론(inference) 비용이 곧 서비스 원가니까요.
한국 개발자에게는
LLM을 직접 서빙해 본 분이라면 이게 남 얘기가 아니에요. vLLM, TensorRT-LLM, SGLang 같은 요즘 추론 엔진에는 스펙큘러티브 디코딩이 이미 옵션으로 들어가 있어서, 설정 몇 줄로 켤 수 있는 경우가 많거든요. GPU에 모델을 직접 올려 쓰는 회사라면 같은 장비로 처리량을 늘리거나 응답 지연을 줄여서 곧장 비용을 아낄 수 있어요.
다만 만능은 아니에요. 초안 모델의 적중률이 낮은 도메인(예를 들어 코드보다 자유로운 창작 텍스트)에서는 효과가 줄고, 초안 모델을 같이 띄워야 하니 메모리도 좀 더 써요. 그래서 '우리 트래픽 패턴에서 실제로 몇 배 빨라지나'를 직접 측정해 보는 게 중요해요.
한 줄 정리
스펙큘러티브 디코딩은 '작은 모델이 찍고 큰 모델이 채점한다'는 단순하지만 강력한 아이디어로, 품질 손해 없이 LLM을 빠르게 만드는 핵심 기술이에요. 여러분이라면 자체 LLM 서빙에 이걸 도입했을 때 비용이 얼마나 줄어들 것 같으세요? 이미 켜서 써보신 분 계시면 체감 속도가 어땠는지도 궁금하네요.
🔗 출처: Hacker News