> 이 글은 원문을 직접 읽지 못한 상태에서 제목과 일반적으로 알려진 생성 모델 이론을 바탕으로 쓴 해설이에요. 책의 실제 목차와 서술 방식은 원문(https://arxiv.org/abs/2605.29713)에서 확인해 주세요.
왜 지금 수학 입문서일까요
'The Little Book of Generative AI Foundations'라는 제목의 문서가 arXiv에 올라왔어요. 부제는 'An Intuitive Mathematical Primer'인데요, 생성 AI의 수학을 직관적으로 풀어주는 입문서라는 뜻이에요.
요즘 개발자는 API 몇 줄로 LLM을 붙일 수 있거든요. 그런데 temperature를 왜 낮추는지, 모델이 왜 그럴듯한 거짓말을 하는지, 이미지 모델은 왜 스텝 수에 따라 품질이 달라지는지 물어보면 말문이 막히는 경우가 많아요. 쓰기는 쉬워졌는데 이해는 오히려 멀어진 셈이죠. 그래서 오늘은 이런 책이 다룰 법한 뼈대를 먼저 잡아볼게요. 지도를 미리 보고 들어가면 어떤 책이든 훨씬 잘 읽히거든요.
모든 생성 모델의 출발점: 분포를 배운다
생성 모델이 하는 일은 한 문장으로 줄일 수 있어요. 데이터가 나오는 확률 분포를 흉내 내고, 거기서 새 샘플을 뽑는 것이에요. 이게 뭐냐면, 고양이 사진 수백만 장을 보고 '고양이 사진답게 생긴 픽셀 배열'이 어떤 모양인지 감을 익힌 다음, 그 감으로 세상에 없던 사진을 하나 꺼내는 거예요. 문장도 똑같아요.
문제는 이 분포가 상상하기 어려울 만큼 크다는 점이에요. 그래서 모델 계열마다 이 거대한 문제를 쪼개는 방식이 다른데요, 이 차이만 알아도 생성 AI 지도가 머릿속에 그려져요.
세 가지 쪼개기 전략
자기회귀 모델(LLM) 은 확률의 연쇄 법칙을 써요. 문장 전체의 확률을 '앞 단어들이 주어졌을 때 다음 토큰이 나올 확률'의 곱으로 바꾸는 거죠. 학습에 쓰는 크로스 엔트로피는 사실 -log p(정답 토큰)이에요. 정답에 0.9를 줬으면 손실은 약 0.1이고, 0.1을 줬으면 약 2.3이 돼요. 확신을 갖고 틀릴수록 벌이 급격히 커지는 구조예요. 이 손실을 줄이는 건 수학적으로 모델 분포와 데이터 분포 사이의 KL 발산을 줄이는 것과 같은데요, KL 발산은 쉽게 말해 두 분포가 얼마나 다른지 재는 자예요.
temperature도 여기서 설명돼요. 소프트맥스에 넣기 전에 점수를 T로 나누는 값이라서, T가 작으면 1등 토큰에 확률이 몰리고 크면 고르게 퍼져요. 낮추면 안정적이고 높이면 다양해지는 이유가 이거예요.
잠재 변수 모델(VAE) 은 데이터 뒤에 숨은 짧은 설명 코드가 있다고 가정해요. 정확한 확률을 계산할 수 없으니 ELBO라는 하한선을 대신 끌어올리는데요, 시험 점수를 직접 잴 수 없어서 '최소한 이 정도는 된다'는 바닥을 계속 올리는 방식이라고 보면 돼요.
확산 모델과 플로우 매칭은 어려운 한 걸음을 쉬운 여러 걸음으로 나눠요. 사진에 노이즈를 조금씩 섞어 완전한 잡음으로 만든 뒤, 그 과정을 되돌리는 법을 배우는 거죠. 한 번에 그림을 그리는 건 어렵지만 '지금보다 살짝 덜 지저분하게' 만드는 건 쉽거든요. 플로우 매칭은 노이즈에서 데이터로 가는 속도장을 바로 학습하는 접근이고, Stable Diffusion 3가 이 계열의 rectified flow를 채택했어요. 샘플링 스텝 수가 품질과 속도를 좌우하는 이유도 여기 있어요. 같은 길을 몇 걸음에 나눠 걷느냐의 문제니까요.
다른 자료들과 어떻게 같이 볼까
이 분야 자료는 이미 꽤 많아요. Simon Prince의 'Understanding Deep Learning'은 그림이 풍부하고 PDF가 무료로 공개돼 있고, Bishop의 'Deep Learning: Foundations and Concepts'는 더 정석적이에요. Stanford CS236 강의는 생성 모델만 깊게 파고, 확산 쪽은 Lilian Weng의 블로그 글이 입문 자료로 오래 쓰였어요. 실습은 Andrej Karpathy의 Zero to Hero 강의가 강력하고요.
두꺼운 교과서는 완주가 어렵고 블로그는 조각나 있다는 게 늘 아쉬운 점이었는데요, 'Little Book'이라는 이름대로라면 이 사이의 빈자리를 노린 문서로 보여요. 정말 그런지는 직접 열어보고 판단해보세요.
한국 개발자에게 어떤 의미일까
모델을 직접 학습하지 않아도 이 기초는 실무에서 바로 써먹을 수 있어요. 분류처럼 답이 하나인 작업에서 temperature를 왜 0 근처로 두는지, logprob을 읽어서 자신 없는 답변을 어떻게 걸러낼지 판단할 수 있거든요. 환각을 단순한 버그가 아니라 '그럴듯한 샘플을 뽑는 시스템의 성질'로 이해하면, RAG나 검증 로직을 어디에 넣어야 할지도 분명해져요. 이미지 생성 서비스를 운영한다면 스텝 수와 비용의 관계도 설명할 수 있게 되고요.
공부 순서를 추천하면 조건부 확률, 로그와 기댓값, 최대우도 추정, KL 발산까지가 먼저예요. 여기까지만 잡아도 논문 수식이 꽤 읽히기 시작해요. 수식을 한 번에 외우려 하지 말고, 식 하나마다 '이건 뭘 재는 자지?'라고 묻는 습관을 들이면 훨씬 수월해요.
마무리
생성 AI의 수학은 결국 '거대한 분포를 어떻게 쪼개서 배울까'라는 하나의 질문으로 모여요. 여러분은 실무에서 모델의 어떤 동작이 가장 이해가 안 됐나요? 수학을 알고 나서 달라진 판단이 있었다면 같이 나눠주세요.
🔗 출처: Hacker News