대규모 언어 모델(LLM) 분야에서 '추론 모델(reasoning model)'은 더 이상 실험적 개념이 아니다. 오늘날 출시되는 거의 모든 최신 LLM이 추론 모델이거나 별도의 추론 모드를 제공한다. 이런 흐름 속에서 세바스티안 라쉬카가 자신의 저서 'Build a Reasoning Model (From Scratch)'을 보완하는 여덟 편, 총 11시간 분량의 코딩 강의 영상을 공개했다. 핵심은 이미 학습된 모델을 출발점으로 삼아 평가(evaluation), 추론 시점 스케일링(inference-time scaling), 강화학습, 지식 증류(distillation)를 파이썬과 파이토치로 직접 구현해 보는 데 있다. 지난해의 'Coding LLMs from the Ground Up' 강의의 후속편 격이지만, 선행 강의를 듣지 않아도 독립적으로 따라갈 수 있도록 설계됐다.
추론 모델과 에이전트의 관계
라쉬카는 본론에 앞서 자주 받는 질문, 즉 추론 모델과 요즘의 AI 에이전트가 어떤 관계인지부터 정리한다. 그는 엔진에 비유한다. 추론 모델은 기존 LLM에 검증 가능한 보상 기반 강화학습(RLVR)과 선택적 추론 스케일링 기법을 더해 더 어려운 문제를 풀 수 있게 끌어올린 '업그레이드된 엔진'이다. 전통적으로는 수학과 코드 영역에서 개발되지만 그 역량은 다른 문제 영역으로도 일반화된다. 반면 에이전트 하버스(harness)는 이 엔진을 감싸는 소프트웨어 틀로, 정교한 컨텍스트 관리와 도구 접근 권한을 모델에 제공해 더 큰 코딩 작업이나 여행 예약 같은 복합 과제를 수행하게 한다. 에이전트는 일반 LLM도 쓸 수 있지만, 더 유능한 추론 모델이 일반적인 선택이라는 설명이다. 결국 에이전트를 이해하려면 그 안의 엔진인 추론 모델을 이해해야 한다는 것이 그의 논지다.
평가에서 강화학습까지, 구현으로 배우기
강의는 밑바닥부터 모델을 훈련하는 대신 사전 학습된 Qwen3 0.6B 모델을 불러오는 데서 시작한다. 처음부터 학습시키는 일은 그 자체로 또 다른 책 한 권이 필요한 주제이기 때문이다. 대신 토크나이징, 로짓과 다음 토큰 예측, 그리디 디코딩과 스트리밍 생성을 구현하고, KV 캐시와 torch.compile로 생성 속도를 높이며 기반 컴포넌트를 갖춘다. 이어 수학 답안 검증기(verifier)를 단계별로 만든다. 답 추출, 정규화, 수학적 동치 확인을 거쳐 MATH-500 데이터셋으로 기본 모델 성능을 측정하는데, 이 검증기는 뒤에서 RLVR의 보상 신호로 재사용된다는 점이 중요하다. 평가 도구가 곧 훈련 도구가 되는 구조다.
추론 시점 스케일링 파트에서는 모델 가중치를 고정한 채 답을 개선하는 방법을 다룬다. 온도 스케일링, 다항 샘플링, top-p 필터링으로 같은 프롬프트에서 다양한 응답을 뽑아낸 뒤, 다수결 투표 기반의 자기 일관성(self-consistency)으로 결합한다. 여기서 핵심은 정확도와 추가 연산 비용 사이의 절충을 직접 눈으로 확인한다는 점이다. 후보를 더 많이 생성할수록 성능은 오르지만 비용도 함께 늘어난다. 또한 토큰·시퀀스 로그 확률로 답을 채점해 동점을 가르고, 모델이 스스로 답을 비평하고 수정하는 자기 개선(self-refinement) 루프까지 구현한다.
강화학습 단계에서는 그룹 상대 정책 최적화(GRPO)의 단순화 버전을 만든다. 응답 그룹을 생성해 검증기로 점수를 매기고, 상대적 보상을 가중치 갱신에 쓰는 방식이다. RLHF(인간 피드백 기반)와 RLVR(검증 가능한 보상 기반)을 비교하고, 검증기 점수를 보상과 상대적 이점(advantage)으로 변환해 로깅과 체크포인트 저장이 포함된 훈련 루프를 조립한다. 이어지는 영상에서는 엔트로피와 이점 통계, 클리핑된 정책 비율, KL 손실항, 형식 보상 같은 지표를 추가해 훈련 로그를 해석하고, 클리핑이나 KL 항이 실제로 도움이 되는지, 보상 해킹(reward hacking)을 어떻게 다루는지를 분석한다. 라쉬카는 단순화한 KL 공식의 한계도 함께 짚는다. 마지막 영상은 더 크고 강한 교사 모델의 답을 학습하는 지식 증류를 다루며, 증류 데이터 준비와 지도학습 루프를 구현한다.
실무자가 참고할 점
국내 실무자에게 이 강의가 갖는 가치는 블랙박스로 쓰던 추론 기능의 내부를 손으로 짜보며 체득할 수 있다는 데 있다. 특히 검증기가 평가와 보상이라는 두 역할을 겸한다는 설계, 추론 스케일링의 정확도-비용 절충, GRPO 훈련의 안정성 지표 해석은 실제 모델을 다룰 때 바로 연결되는 감각이다. 전제 조건은 파이썬과 파이토치에 익숙할 것 정도이며, 초반 텍스트 생성과 평가 예제는 CPU로도 따라갈 수 있지만 훈련 단계부터는 GPU가 현실적으로 필요하다. 다만 이 자료가 0.6B급 소형 모델을 대상으로 한 교육용 구현이라는 점은 분명히 인식해야 한다. GRPO도 단순화 버전이고 KL 공식에도 명시된 한계가 있는 만큼, 프로덕션 규모의 추론 모델 훈련을 그대로 보장하지는 않는다. 대신 원리를 이해하고 더 깊은 연구로 나아가는 발판으로서의 성격이 뚜렷하다. 더 짧고 개념적인 개요를 원한다면 약 90분 분량의 링크드인 러닝 강의가, 각 장의 연습 문제까지 소화하려면 매닝과 아마존에서 판매 중인 책이 보완 자료로 제시된다.