강화학습(RL) 후처리로 대규모 언어모델(LLM)의 추론 성능을 끌어올리는 것은 이제 표준 레시피가 됐다. 평가 곡선이 학습과 함께 우상향하는 그래프도 익숙한 풍경이다. 그러나 몬트리올 소재 연구자 Michael Noukhovitch의 최근 논문과 해설 글은 이 곡선이 실제로 무엇을 측정하는지 되묻는다. Olmo 3.1 RL-Zero Math 모델을 AIME 2025로 평가하면 전체 평균은 분명히 올라가지만, 30개 문항을 난이도별로 쪼개 보면 이야기가 달라진다.
연구진은 학습 전 초기 모델이 pass@32에서 0점을 받는 문항을 '어려움'으로, 나머지를 정답률에 따라 '중간'과 '쉬움'으로 나눴다. 초기 pass@1 평균은 각각 0%, 3.8%, 22.7%였다. 학습을 진행하자 성능 향상의 대부분은 이미 어느 정도 풀리던 쉬운 문제가 '거의 다 푸는' 수준으로 올라간 데서 나왔고, 가장 어려운 문제는 거의 개선되지 않았다. 문항별 정답률 변화를 보면 최상단(가장 어려운 행)은 학습 내내 미동조차 없다. 저자는 이 불균형을 사회학·네트워크과학에서 말하는 '마태 효과(Matthew Effect)', 즉 '부자가 더 부유해진다'는 현상에 빗대 명명했다.
마태 효과는 수학만의 문제가 아니다
이 편향은 수학 RL에 국한되지 않는다. 연구진은 코드 RL과 에이전트 RL을 각각 Deepcoder, DeepSWE라는 오픈소스 프로젝트로 검증했다. 초기 모델(LCBv6에서는 Deepseek-R1-Distilled-Qwen-14B)로 벤치마크를 난이도 구간으로 나누거나 SWEBench의 기존 난이도·과제 길이 라벨을 활용한 결과, RL이 주는 이득은 문제가 쉬울수록 비례적으로 커졌다. 정리하면 마태 효과란 'RL은 모델의 초기 역량에 비례해 성능을 올리며, 쉬운 과제는 더 쉽게 만들지만 어려운 과제는 종종 그대로 둔다'는 것이다.
흔한 진단은 GRPO의 구조를 탓한다. k개의 샘플에서 정답이 하나도 안 나오면 그래디언트가 없어 학습이 안 된다는 이른바 '신호 손실(signal loss)' 문제다. 그렇다면 k를 키워 더 많이 샘플링하면 될까. 연구진은 Qwen 2.5 0.5B Instruct를 GSM8k platinum으로 학습하며 k를 4, 8, 16, 32로 바꿔봤다. 뜻밖에도 가장 작은 k=4가 최선이었다.
문제는 '적게 뽑아서'가 아니라 '쉬운 문제에 낭비해서'
원인은 학습 배치의 구성에 있다. 정답이 전부 맞거나 전부 틀린 프롬프트는 걸러지므로, 배치에는 일부만 맞은 문제가 남는다. k를 키우면 어려운 문제의 희귀한 정답을 찾을 확률이 오르지만, 동시에 쉬운 문제에서 나오는 희귀한 오답을 붙잡을 확률도 올라간다. 학습 초반에는 k=32가 어려운 문제의 정답을 발견해 유리하지만, 약 200스텝의 변곡점 이후로는 k=4가 앞선다. k=4는 4/4로 풀리면 곧장 문제를 걸러내는 반면, k=32가 같은 문제를 거르려면 32/32를 모두 맞혀야 하기 때문이다. 결국 쉬운 문제에 쓰는 연산이 줄고, 비동기 RL 환경에서는 그 아낀 연산이 어려운 문제 학습으로 재배치된다. 저자는 이를 신호 손실과 구분해 '신호 효율(signal efficiency)' 문제라 부른다.
제안된 해법 '네버 기브 업(Never Give Up, NGU)'은 여기서 출발한다. 우선 작은 k만큼 뽑아 풀리면 학습하고, k/k로 완전히 풀리면 즉시 걸러낸다. 까다로운 경우는 전부 틀렸을 때인데, 확률 p로 포기하지 않고 프롬프트를 생성기에 되돌려 k개를 더 뽑는다. 기존 완성본을 보관해 두었다가 문제가 풀리는 순간 'k × NGU 라운드' 전체로 학습한다. 표본 수는 기하분포를 따라 기대값 k/(1-p)가 된다. 즉 쉬운 문제에는 작은 k를, 어려운 문제에는 큰 k를 사실상 자동으로 배분하는 셈이다. 커리큘럼 학습이 난이도를 미리 정해두는 것과 달리 NGU는 온라인으로 적응하며, GSM8k에서 k=4·p=0.9 조합이 여러 k값의 표준 GRPO를 모두 앞섰다. 특히 가장 어려운 구간에서 격차가 컸다.
다만 대가도 있다. 여러 라운드를 거치면 초기 완성본이 오래되어(stale) 학습 신호가 나빠진다. 연구진은 나이 임계값(T=4)으로 오래된 표본을 걸러내되, 학습에는 안 쓰더라도 GRPO 기준선(baseline) 계산에는 모든 표본을 반영하는 편이 낫다고 정리한다. 이 방식은 DeepScaler·Qwen 3 4B 규모로 키워도 유효해, 강력한 GRPO k=16 위에서 NGU가 AIME와 BRUMO 2025의 어려운 구간을 추가로 끌어올렸다.
코드 RL, 그리고 남은 한계
코드 RL은 정답이 이진적인 수학과 달리 한 문제 안에 쉬운 테스트와 어려운 테스트가 뒤섞여 있다는 점에서 결이 다르다. Manufactoria 설정에서 표준 GRPO는 쉬운 테스트를 거의 다 풀지만 어려운 테스트에서 정체하며, 부분적으로 풀린 중간 테스트를 반복적으로 오가며 신호를 낭비했다. NGU는 다음 k개가 이전보다 더 많은 테스트를 통과해야만 받아들이므로 모델이 점점 어려운 테스트까지 밀고 나가게 만든다. 또한 6000스텝 중 3000스텝 넘게 정체된 체크포인트에서 다시 학습해도 성능이 회복된 점은, 이 편향이 심층 RL에서 지적되는 가소성(plasticity) 손실 때문이 아님을 시사한다.
한계도 분명하다. 과제가 지나치게 어려운 문제에 쏠려 있으면 '뽑고 기다렸다 더 뽑는' NGU의 절차가 오히려 길어져 초기 표본이 필요 이상으로 오프폴리시가 되고 학습이 느려진다. 이미 데이터 분포에 맞는 적정 k를 알고 있을 때 가장 효과적이라는 것이 저자의 조언이다. 실무자에게 더 중요한 교훈은 방법론 이전에 평가 태도에 있다. 단일 스칼라 평균값은 모델의 실제 역량을 정확히 담지 못하며, 특히 가장 어려운 문제에서의 부진을 평균이 가려버린다. 자신의 평가 지표를 난이도별로 해부해 더 촘촘한 신호를 들여다보는 습관이, 결국 어떤 학습 기법을 도입할지보다 앞서야 한다.