TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 87 READS

확산 모델보다 21배 빠른 텍스트 생성, '다음 개념 예측'의 접근법

대규모 언어 모델의 비용 구조가 학습에서 추론으로 옮겨가면서, 문장을 한 토큰씩 순차적으로 뽑아내는 자기회귀(autoregressive) 방식의 속도 한계가 점점 더 뼈아픈 제약으로 부각되고 있다. 추론이 전체 연산 부하의 대부분을 차지하는 서비스 환경에서는 같은 품질이라면 더 적은 연산으로, 더 병렬적으로 결과를 만들어내는 쪽이 곧 비용 경쟁력이기 때문이다. 이 지점에서 주목받아 온 대안이 확산 언어 모델(DLM)이다. 여러 위치를 동시에 샘플링해 생성 속도를 끌어올릴 수 있다는 것이 핵심 강점이다.

그러나 DLM에는 실무에서 걸리는 약점이 분명하다. 샘플링 스텝 수를 줄이면 품질이 빠르게 무너지고, 매 스텝마다 전체 시퀀스를 처리해야 하며, 쓸 만한 수준에 도달하기까지 데이터셋을 여러 번 반복 학습해야 한다. 속도를 위해 스텝을 줄이면 품질을 잃고, 품질을 지키려면 속도 이점이 희석되는 구조적 긴장이 남아 있는 셈이다. 'Next-Concept Modeling'(NCM, 다음 개념 예측)이라는 이름의 이 연구는 바로 그 긴장을 다른 방식으로 풀어보려는 시도다.

거친 것에서 세밀한 것으로

NCM은 두 단계로 구성된 '거친 것에서 세밀한 것으로(coarse-to-fine)' 프레임워크다. 먼저 다중 스케일 잔차(residual) VQ-VAE가 텍스트를 이산적인 코드의 계층 구조로 인코딩한다. 즉 하나의 문장을 큰 윤곽을 담은 상위 레벨 코드부터 세부를 담은 하위 레벨 코드까지 여러 층으로 압축해 표현하는 것이다. 이어서 트랜스포머가 한 번에 한 레벨씩 생성하되, 같은 레벨 안의 코드는 전부 병렬로 예측한다.

이 설계가 노리는 효과는 두 가지다. 첫째, 전체 시퀀스를 매 스텝 반복해서 훑는 대신 레벨 단위로 생성을 진행하므로 함수 평가(연산 호출) 횟수가 줄어든다. 둘째, 레벨 내부는 병렬이므로 자기회귀처럼 토큰 하나하나를 기다릴 필요가 없다. 사람으로 치면 글의 뼈대를 먼저 잡고 점차 문장을 채워 넣는 작업 순서를 모델 구조에 그대로 새겨 넣은 셈이다.

벤치마크가 말하는 것

연구가 제시한 수치는 속도 쪽에서 특히 두드러진다. 파라미터 규모를 맞춘 비교에서 NCM은 LM1B 데이터셋에서 가장 강력한 DLM 기준선보다 더 나은 생성 퍼플렉시티를 보이면서 21배 빠르게 동작했다. OpenWebText에서는 최강 DLM과 경쟁할 만한 품질을 유지하며 10배 빨랐고, 요약 과제인 XSum에서는 ROUGE-L 점수가 최강 DLM과 대등하면서 31배 빠른 속도를 기록했다. 품질을 크게 손해 보지 않으면서 속도에서 한 자릿수에서 두 자릿수 배수의 이득을 냈다는 것이 핵심 주장이다.

추론 성격이 강한 과제에서도 결과가 나왔다. 스도쿠 풀이에서 NCM은 모든 난이도 구간에 걸쳐 자기회귀 및 확산 기준선을 앞질렀고, 그러면서도 더 적은 함수 평가 횟수를 사용했다. 단순히 자연어 생성 속도만 빠른 것이 아니라, 제약 충족형 추론처럼 정답이 분명한 과제에서도 효율과 정확도를 동시에 챙겼다는 점은 계층적 병렬 생성이 특정 유형의 문제에 구조적으로 잘 맞을 가능성을 시사한다.

실무자가 눈여겨볼 지점과 한계

실무 관점에서 이 연구가 던지는 메시지는 명확하다. 생성 품질과 추론 속도의 교환 관계를 자기회귀냐 확산이냐의 이분법 밖에서 재협상할 여지가 있다는 것이다. 특히 요약처럼 입력 대비 출력이 짧고 지연 시간이 서비스 품질을 좌우하는 작업이라면, 수십 배의 속도 차이는 곧 서버 비용과 응답성에 직접적인 영향을 준다. 코드를 미리 계층으로 압축해 두는 방식은 캐싱이나 부분 재생성 같은 운영 최적화와도 결이 맞는다.

다만 과장 없이 읽을 필요도 있다. 공개된 내용은 LM1B, OpenWebText, XSum, 스도쿠라는 제한된 벤치마크에 기반한 것이고, 속도 배수는 비교 대상이 된 DLM 기준선과 파라미터 규모라는 전제 위에서 성립한다. VQ-VAE로 텍스트를 이산 코드로 양자화하는 과정 자체가 정보 손실을 수반하므로, 더 길고 복잡한 생성이나 긴 문맥 일관성이 요구되는 과제에서도 동일한 이점이 유지되는지는 추가 검증이 필요한 영역이다. 그럼에도 추론 비용이 실질적 병목이 된 시대에, 생성의 순서 자체를 재설계하는 이런 접근은 당분간 주의 깊게 지켜볼 흐름이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://arxiv.org/abs/2610.14162
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...