무슨 일이 있었냐면
『Build a Large Language Model (From Scratch)』로 잘 알려진 세바스찬 라시카(Sebastian Raschka)가 이번에는 추론 모델(reasoning model)을 밑바닥부터 만드는 비디오 강의를 공개했어요. 후속작 『Build a Reasoning Model (From Scratch)』 내용을 영상으로 따라갈 수 있게 정리한 강의예요.
추론 모델은 답을 바로 내놓지 않고 ‘생각하는 과정’을 길게 거친 다음 답을 내는 LLM이에요. OpenAI의 o1, o3나 DeepSeek-R1, 요즘 거의 모든 프런티어 모델에 붙어 있는 thinking 모드가 다 여기에 속해요. 2024년 말부터 업계의 관심은 “모델을 더 크게”에서 “모델이 더 오래 생각하게”로 옮겨갔어요. 그런데 이게 실제로 어떻게 만들어지는지 코드로 하나하나 보여주는 자료는 드물었어요.
강의에서 다루는 내용
라시카 스타일의 핵심은 “라이브러리 뒤에 숨지 않는다”는 거예요. 거대한 완성 모델을 가져다 쓰지 않고, 작은 사전학습 모델(책에서는 Qwen3 0.6B 같은 소형 모델을 써요)에 PyTorch로 한 줄씩 추론 능력을 붙여 나가요. 큰 흐름은 이렇게 이어져요.
1. 텍스트 생성과 평가부터 먼저 모델이 토큰을 하나씩 만들어내는 과정을 직접 구현해요. 그다음 “추론을 잘한다”를 어떻게 잴지 정해요. 수학 문제처럼 정답이 분명한 데이터로 모델의 답을 뽑아 채점하는 검증기(verifier)를 만드는데, 이게 나중에 강화학습의 바탕이 돼요.
2. 추론 시점 스케일링(inference-time scaling) 모델은 그대로 두고, 답을 낼 때 계산을 더 써서 성능을 올리는 방법이에요. “단계별로 생각해봐”라고 시키는 Chain-of-Thought, 같은 문제를 여러 번 풀린 뒤 다수결로 답을 고르는 self-consistency, 자기 답을 다시 보고 고치게 하는 self-refinement 같은 것들이요. 시험 문제를 한 번 풀고 끝내는 게 아니라 검산까지 하는 학생을 떠올리면 쉬워요.
3. 강화학습으로 추론 능력 키우기 가장 중요한 부분은 DeepSeek-R1 덕분에 유명해진 RLVR(검증 가능한 보상을 쓰는 강화학습) 과 GRPO 알고리즘이에요. 모델에게 같은 문제를 여러 번 풀게 하고, 맞힌 풀이에 점수를 줘요. 그리고 그룹 안에서 상대적으로 더 잘한 답 쪽으로 모델을 조금씩 업데이트해요. 사람이 “이 답이 더 좋다”고 하나하나 라벨을 달지 않아도 정답 여부만으로 학습이 굴러간다는 게 핵심이에요.
4. 증류(distillation) 책 목차를 보면 큰 모델의 풀이 과정을 작은 모델이 따라 하게 해서 추론 능력을 옮겨주는 증류까지 이어져요.
왜 ‘밑바닥부터’가 의미 있을까
추론 모델을 배우는 길은 여러 가지예요. Hugging Face의 TRL을 쓰면 GRPO 학습을 몇십 줄로 돌릴 수 있고, 안드레이 카파시의 강의는 GPT 구조를 처음부터 짜보는 데 강해요. DeepSeek-R1 기술 보고서는 필독서고요.
다만 라이브러리만 쓰면 “돌아는 가는데 안에서 무슨 일이 일어나는지는 모르는” 상태가 되기 쉬워요. 논문만 읽으면 수식과 실제 코드 사이가 너무 멀고요. 라시카의 강의는 그 사이를 메워줘요. 보상 함수가 실제로 어떻게 생겼는지, 어드밴티지를 그룹 단위로 정규화한다는 게 코드로는 어떤 모양인지 직접 만져볼 수 있거든요.
하드웨어 부담이 현실적이라는 점도 좋아요. 0.6B 규모 모델이라 GPU 한 장이면 충분하고, 일부 실습은 노트북에서도 따라갈 수 있어요.
한국 개발자에게 주는 시사점
요즘은 국내에서도 자체 파운데이션 모델을 만드는 회사가 늘었고, 오픈 모델을 파인튜닝해서 서비스에 쓰는 곳도 많아요. 실무에서 “우리 도메인에 맞게 추론 능력을 키우고 싶다”는 요구가 나오면 결국 이런 개념을 알아야 판단을 내릴 수 있어요. 파인튜닝을 할지, self-consistency로 추론 비용을 더 쓸지 같은 결정이요.
특히 정답을 자동으로 확인할 수 있는 분야라면 RLVR 아이디어를 거의 그대로 가져다 쓸 수 있어요. SQL 생성(실행 결과 비교), 코드 생성(테스트 통과 여부), 규칙 기반 문서 검증 같은 분야요. “검증기를 만들 수 있으면 강화학습도 할 수 있다”는 감각만 얻어도 큰 수확이에요.
트랜스포머 구조가 아직 낯설다면 전작으로 기초를 먼저 다지고 오는 걸 추천해요. 국내 번역서도 나와 있어요.
마무리
추론 모델은 마법이 아니에요. ‘검증 가능한 보상’과 ‘더 많은 생각 시간’을 합친 결과라는 걸 코드로 직접 확인하게 해주는 강의예요.
여러분은 업무에서 추론 모델의 ‘생각하는 비용’을 어떻게 다루고 계세요? 추론 시점 스케일링으로 해결하는 편인가요, 아니면 직접 파인튜닝까지 고민해보신 적 있나요?
🔗 출처: Hacker News