'LLM은 한 토큰씩 만든다'는 공식에 도전하는 회사
ChatGPT나 Claude를 쓰다 보면 답변이 한 글자씩 타닥타닥 나오는 걸 보게 되죠. 이건 연출이 아니라 실제로 그렇게 만들어지기 때문이에요. 지금 대부분의 LLM은 자기회귀(autoregressive) 방식, 쉽게 말해 '앞에 나온 단어들을 보고 다음 단어 하나를 맞히는' 작업을 수천 번 반복해서 문장을 완성하거든요.
Inception Labs는 이 공식 자체를 바꾸려는 회사예요. 스탠퍼드의 스테파노 에르몬 교수 등 이미지 생성 분야에서 확산(diffusion) 모델을 연구해온 사람들이 세웠고, 2025년 초에 상용 수준의 확산 언어모델(dLLM) Mercury를 처음 공개했어요. 이번 Mercury 3의 부제는 'Diffusion at scale', 즉 규모를 키워도 확산 방식이 통한다는 걸 보여주겠다는 메시지예요. 확산 LLM에는 늘 “작은 모델에선 빠르고 신기한데, 크게 키우면 품질이 자기회귀 모델을 따라갈 수 있냐”는 질문이 따라붙었거든요.
확산 언어모델은 어떻게 동작할까
Stable Diffusion 같은 이미지 생성 모델을 떠올려 보세요. 노이즈로 가득한 이미지에서 시작해서 여러 단계에 걸쳐 노이즈를 조금씩 걷어내면 그림이 나타나죠. 같은 아이디어를 텍스트에 적용한 게 확산 언어모델이에요.
다만 텍스트는 픽셀처럼 연속적인 값이 아니라 '단어'라는 이산적인 단위라서 보통 마스킹 방식을 써요. 답변 전체를 [MASK]라는 빈칸으로 채워놓고 시작해서, 모델이 매 단계마다 여러 빈칸을 동시에 채우고, 확신이 낮은 부분은 다시 고치는 식이에요.
비유하자면 자기회귀 모델은 타자기예요. 앞에서부터 한 글자씩 치고, 이미 친 글자는 못 고쳐요. 확산 모델은 초안을 쓰고 퇴고하는 작가에 가까워요. 전체 뼈대를 먼저 잡고, 여러 번 읽으면서 문장을 다듬는 거죠.
왜 빠를까: GPU를 놀리지 않기
속도의 비밀은 GPU 활용 방식에 있어요. 자기회귀 모델은 토큰 1,000개를 만들려면 모델 전체를 1,000번 돌려야 해요. 그런데 매번 거대한 가중치를 메모리에서 읽어오는 데 시간이 대부분 들고, 정작 GPU 연산 유닛은 놀고 있는 경우가 많아요. 이걸 '메모리 대역폭 병목'이라고 해요.
확산 모델은 한 번 돌릴 때 수백 개 토큰을 동시에 처리하고, 전체 단계 수도 토큰 수보다 훨씬 적어요. 가중치를 한 번 읽어서 훨씬 많은 일을 시키니 GPU를 알차게 쓸 수 있는 거죠. 실제로 첫 Mercury Coder는 일반 H100 GPU에서 초당 1,000토큰 이상을 뽑아냈어요. 보통 자기회귀 모델이 초당 수십~백몇십 토큰 수준인 걸 생각하면 엄청난 차이예요. Groq나 Cerebras처럼 전용 칩으로 속도를 올리는 회사도 있지만, Mercury는 범용 GPU에서 알고리즘으로 속도를 냈다는 점이 달라요.
공짜 점심은 없어요: 확산 LLM의 숙제
장점만 있는 건 아니에요. 첫째, 자기회귀 모델이 속도를 위해 쓰는 KV 캐시(이전 계산 결과를 저장해두는 메모리)를 그대로 쓰기 어려워요. 확산 모델은 문장 전체를 양방향으로 보기 때문이에요. 그래서 블록 단위로 나눠 앞 블록은 고정하고 캐시하는 '블록 확산' 같은 절충안이 연구되고 있어요.
둘째, 출력 길이를 미리 정해야 하는 문제가 있고, 셋째, 단계 수를 줄일수록 빨라지지만 품질이 떨어지는 트레이드오프가 있어요. 복잡한 추론처럼 앞의 결론이 뒤를 결정하는 작업에서도 자기회귀 방식을 따라잡을 수 있느냐가 Mercury 3 같은 '규모 확장' 모델이 증명해야 할 부분이에요.
경쟁 구도: 빅테크도 뛰어들었어요
확산 LLM은 더 이상 Inception만의 실험이 아니에요. 구글은 2025년 I/O에서 실험 모델 Gemini Diffusion을 공개했고, 바이트댄스도 Seed Diffusion을 선보였어요. 오픈소스 쪽에서는 런민대·앤트그룹의 LLaDA(8B), 홍콩대의 Dream 7B, 애플의 코드 특화 모델 DiffuCoder 등이 나왔고요. 최상위 품질은 아직 자기회귀 모델이 쥐고 있지만, '속도 대비 품질'이라는 축에서는 확산 모델이 확실한 대안으로 자리 잡아가는 분위기예요.
한국 개발자에게 주는 시사점
응답 속도가 곧 사용자 경험인 서비스라면 눈여겨볼 만해요. IDE 코드 자동완성, 실시간 상담 챗봇, 그리고 특히 AI 에이전트가 그래요. 에이전트는 작업 하나를 끝내려고 모델을 수십 번 호출하는데, 호출마다 몇 초씩 걸리면 전체가 몇 분이 되거든요. 토큰 생성이 10배 빨라지면 체감 속도가 완전히 달라져요.
Inception의 API는 OpenAI API와 호환되는 형식이라, 기존 코드에서 엔드포인트와 모델명만 바꿔 테스트해볼 수 있어요. 다만 한국어 품질은 꼭 직접 검증해보세요. 영어 벤치마크 성능이 한국어까지 그대로 이어진다는 보장은 없거든요. 원리를 깊게 공부하고 싶다면 LLaDA 같은 오픈소스 모델의 코드를 읽어보는 걸 추천해요.
마무리
핵심 한 줄: 확산 LLM은 '한 토큰씩'이라는 기본 공식을 깨고 속도로 승부하는 중이고, Mercury 3는 그 방식이 큰 규모에서도 통하는지 보여주려는 도전이에요.
여러분은 서비스에 LLM을 붙일 때 '조금 더 똑똑한 모델'과 '10배 빠른 모델' 중 어느 쪽을 고르시겠어요? 속도가 품질보다 중요하다고 느꼈던 상황이 있다면 경험을 나눠주세요!
🔗 출처: Hacker News