오늘날 생성형 AI는 데이터 종류에 따라 서로 다른 알고리즘 계열로 나뉘어 발전해 왔다. 이미지나 영상 같은 연속형 데이터에서는 확산(diffusion) 모델이 사실상 표준으로 자리 잡았지만, 텍스트나 코드처럼 이산적인 토큰으로 이루어진 데이터에서는 여전히 자기회귀(autoregressive) 모델이 주류다. 자기회귀 모델은 토큰을 왼쪽에서 오른쪽으로 하나씩, 앞선 토큰에 조건을 걸어 생성한다. 강력한 방식이지만 한 번 만들어낸 토큰을 되돌리기 어렵고 순차 생성이라는 구조적 제약을 안고 있다. 이 글이 소개하는 확산 언어 모델은 바로 이 이산 데이터 영역에 확산이라는 현대적 패러다임을 이식하려는 시도다.
확산 모델의 접근은 근본적으로 다르다. 문장을 한 토큰씩 써 내려가는 대신 전체 시퀀스를 한꺼번에 놓고, 초기 추정값에서 시작해 여러 단계에 걸쳐 반복적으로 다듬는다. 이 구조는 세 가지 이점을 준다. 단계 수를 늘리거나 줄여 속도와 품질을 절충할 수 있고, 생성 도중에 이전 실수를 교정할 수 있으며, 매 단계가 앞뒤 양방향 문맥을 모두 참조한다. 언어에 확산을 적용하는 일은 오랫동안 미해결 과제로 남아 있었는데, 2024년 확산 모델이 품질 면에서 자기회귀 모델과 경쟁 가능한 수준에 도달하면서 전환점을 맞았다. 그리고 2026년 현재 인셉션랩스의 Mercury 2, 구글의 Gemma Diffusion, 엔비디아의 Nemotron Diffusion 등 주요 산업 연구소가 실제 확산 LLM을 내놓고 있다.
이미지 확산에서 출발하는 직관
확산 모델을 이해하는 핵심 개념은 잡음 제거(denoising)다. 이미지를 한 번에 그리는 대신, 순수한 무작위 잡음에서 출발해 매 단계 조금씩 잡음을 걷어내며 점차 일관된 이미지를 드러낸다. 이를 위해 확산은 두 개의 상보적 과정을 쓴다. 순방향 과정은 깨끗한 원본 이미지에 가우시안 잡음을 조금씩 섞어 결국 완전한 잡음으로 만든다. 이 과정은 학습이 전혀 필요 없지만, 이미지가 잡음으로 변해가는 궤적을 무한히 만들어낸다는 점에서 대단히 유용하다. 실제 학습이 일어나는 역방향 과정은 이 궤적을 거꾸로 밟도록 모델을 훈련한다. 잡음 섞인 이미지가 주어졌을 때 모델은 잡음과 원본을 분리하는 법을 배우고, 생성 시에는 순수 잡음에서 시작해 모델이 추정한 잡음을 조금씩 벗겨내는 일을 반복한다.
마스킹으로 정의하는 이산 확산
언어에 확산을 적용할 때 가장 큰 장애물은 이산 토큰에 대해 '잡음'이 무엇인지 정의하는 일이다. 가우시안 잡음을 범주형 변수에 더하는 것은 수학적으로 정의되지 않기 때문이다. 이 글의 저자 그룹이 대중화한 해법은 잡음을 마스킹으로 정의하는 것이며, 현재 대부분의 오픈소스 확산 언어 모델의 토대가 되었다. 마스킹 확산은 '언마스킹 트랜스포머'로 이해하면 쉽다. 깨끗한 시퀀스에서 일부 토큰을 무작위로 가린 뒤 양방향 트랜스포머에게 빈칸을 채우게 하는 방식으로, BERT를 알고 있다면 마스킹 비율을 무작위화한 BERT라고 볼 수 있다. 다만 BERT와 달리 이 모델은 생성이 가능하다. 즉 마스킹 확산은 일종의 '생성형 BERT'다. 생성은 완전히 마스킹된 시퀀스에서 출발해 빈칸을 임의의 순서로 조금씩 메워가며 깨끗한 표본으로 수렴시키는 과정이다.
이 과정 역시 순방향과 역방향으로 형식화된다. 순방향 과정은 마스킹 비율을 결정하는 스케줄 α_t를 따른다. α_t는 특정 토큰이 마스킹되지 않고 남을 확률로, 가우시안 확산의 신호 대 잡음비에 해당한다. t=0에서 1(깨끗한 시퀀스)이었다가 t=1에서 0(완전 마스킹)으로 감소한다. 베이즈 규칙을 쓰면 원본 시퀀스 x를 안다고 가정할 때 수학적으로 최적인 역방향 과정을 유도할 수 있는데, 실제 생성에서는 x를 알 수 없으므로 현재 상태 z_t로부터 최종 시퀀스를 예측하는 모델 x_θ(z_t)를 훈련해 그 자리를 대신하게 한다. 이렇게 순방향과 역방향을 결합하면 마스킹 확산 언어 모델(MDLM)의 수학적 정의가 완성된다.
BERT 손실과 자기회귀 모델과의 비교
주목할 대목은 이 모델의 우도를 근사하는 증거 하한(ELBO)이 놀랄 만큼 단순한 형태를 띤다는 점이다. 그 안쪽 항은 부분적으로 마스킹된 z_t가 주어졌을 때 깨끗한 시퀀스 x의 우도, 즉 언마스킹 트랜스포머의 예측과 실제 토큰 사이의 교차 엔트로피 손실이며 이는 정확히 BERT 손실이다. BERT와 다른 점은 이 손실이 하나의 고정된 마스킹 비율이 아니라 모든 t, 곧 모든 마스킹 비율에 대해 평균되고, 마스킹된 토큰 비율로 정규화된다는 것이다. 이 ELBO 덕분에 로그 우도(또는 동등하게 퍼플렉시티)라는 언어 모델의 표준 지표로 확산과 자기회귀 모델을 원칙에 입각해 비교할 수 있게 되었고, 단순화된 마스킹 확산 모델은 두 계열 사이에 오래 존재하던 퍼플렉시티 격차를 상당 부분 좁힌 첫 사례 중 하나였다.
실무 관점의 한계와 확장
다만 여기까지의 MDLM은 직관을 세우는 데 유용할 뿐 곧바로 제품에 쓸 수는 없다. 고정 길이 시퀀스만 생성하고, 반복적 오류 교정을 기본으로 지원하지 않으며, 추가적인 사후 학습 없이는 특별히 빠르지도 않다. 고정 길이 문제를 푸는 대표적 확장이 블록 확산(block diffusion)이다. 이미 생성된 토큰에 조건을 걸고 블록 단위로 확산을 수행하는데, 블록 크기는 수십에서 수천 토큰까지 응용 영역에 맞춰 정할 수 있다. 예컨대 생물학 응용에서는 포착하려는 상호작용 길이에 대한 사전 지식으로 블록 크기를 정하고, 언어 모델링에서는 순방향 연산의 산술 강도가 하드웨어와 맞도록 GPU 활용을 극대화하는 방향으로 정할 수 있다. 게다가 블록 확산은 자기회귀 모델의 생성 가속 기법인 KV 캐싱을 자연스럽게 지원해, 한 블록이 생성되면 그 키와 값을 캐시에 저장해 재사용할 수 있다.
확산 언어 모델은 아직 자기회귀 모델을 전면 대체한 것이 아니라, 병렬성·오류 교정·양방향 문맥이라는 서로 다른 강점을 무기로 실용 단계에 막 진입한 기술이다. 한국의 실무자 입장에서 중요한 것은 이 계열이 더 이상 학술적 호기심이 아니라 주요 연구소가 실제 모델로 출시하는 선택지가 되었다는 점, 그리고 그 밑바탕에 BERT식 마스킹 학습이라는 익숙한 개념이 놓여 있다는 점이다. 반복적 정제, 사후 학습을 통한 속도 개선, 가변 길이 생성 같은 후속 기법들이 남은 한계를 얼마나 메우느냐가 앞으로 이 패러다임의 실전 채택 여부를 가를 것이다.