TECH 으로 돌아가기
TECH HACKER NEWS 9분 읽기 63 READS

'더 오래 생각하면 정답'이라는 착각: 추론을 경로 탐색으로 다시 보기

'더 오래 생각하면 정답'이라는 착각: 추론을 경로 탐색으로 다시 보기
SOURCE IMAGE · HACKER NEWS

추론형 모델을 둘러싼 가장 익숙한 설명은 단순하다. 모델이 더 오래 생각하도록 두면 정답에 가까워진다는 것이다. 사람이 더 많은 시간과 노력을 들여 고민할수록 옳은 답에 이를 가능성이 높아지는 직관과도 잘 맞는다. 그러나 이 그림만으로는 설명되지 않는 현상들이 있다. 강화학습(RL) 훈련 중 모델은 더 긴 사고 사슬(chain of thought)을 쓰도록 학습하고 그와 함께 정확도가 올라간다. 하지만 이미 훈련된 모델을 붙잡고 하나의 사슬을 억지로 더 길게 늘리면, 한동안은 도움이 되다가 어느 순간 효과가 사라진다. 때로는 오히려 답이 나빠지기도 한다. 마치 과도하게 생각해 길을 잃는 듯한 모습이다. 사슬이 진짜 어떤 최적점으로 수렴하고 있다면 단계가 늘어난다고 답이 나빠질 이유는 없다. 그렇다면 추론 시점에 실제로 도움이 되는 것은 각 사슬의 길이일까, 아니면 다른 무언가일까.

알렉스 왕(Alex Wang)의 글은 이 혼란을 '토큰 공간에서의 경로 탐색'이라는 관점으로 정리한다. 같은 수학 문제를 열 번 물으면 열 가지 서로 다른 사고 사슬이 나온다. 추론을 하나의 신비로운 수렴 과정으로 보지 말고, 문제에서 정답으로 이어지는 여러 갈래의 길 중 하나를 매 샘플마다 밟아 나가는 과정으로 보자는 것이다. 예컨대 1부터 10까지 더하는 문제는 앞에서부터 차례로 누적해 55에 이를 수도 있고, 바깥에서 안쪽으로 1+10, 2+9처럼 짝지어 11을 다섯 번 만들어 55에 이를 수도 있다. 두 경로 모두 정답에 도달한다. 글은 이를 형식화한다. 출발점은 프롬프트 $x$이고, 정답 여부를 1 또는 0으로 판정하는 검증기 $r(x,y)$가 있다고 가정한다. 모델이 찾으려는 것은 $x$에서 출발해 정답 집합 $\mathcal{S}_x$ 안에 착지하는 토큰 경로 $z$다.

성공 확률을 올리는 두 가지 축

핵심은 성공 확률 $p_x$다. 이는 $\mathcal{S}_x$에 도달하는 모든 경로의 생성 확률을 합한 값으로, 모델이 정답에 착지할 전체 확률을 뜻한다. 이 확률을 높이는 방법은 둘로 나뉜다. 작은 확률의 경로를 여러 갈래 확보하거나, 단 하나의 경로를 아주 높은 확률로 만드는 것이다. 성공 확률 자체는 둘을 구분하지 않는다. 가장 단순한 추론 시점 전략은 하나가 착지할 때까지 경로를 계속 뽑아 보는 것이다. 검증기가 있으니 $k$개를 뽑아 성공을 찾는 best-of-$k$ 방식이 가능하고, 이때 성공 확률은 $1-(1-p_x)^k$로 올라간다. $p_x$가 0보다 크기만 하면 샘플을 늘릴수록 성공 확률은 단조 증가한다. 중요한 것은 이 스케일링이 '사슬을 더 길게' 하는 축이 아니라 '샘플 수를 더 늘리는' 축이라는 점이다.

훈련이 하는 일은 탐색의 분할상환

그렇다면 모델 자체를 바꿔 $p_x$를 높일 수 있을까. 검증 가능한 프롬프트를 모아 경로를 샘플링하고, $\mathcal{S}_x$에 착지한 것만 남겨 그 경로로 모델을 다시 학습시키는 과정을 반복하면 된다. 이것이 기각 샘플링 기반 미세조정이며, 추론 분야의 초기 형태가 STaR였다. 흥미롭게도 오늘날 추론 모델을 훈련하는 검증 가능 보상 기반 RL이 거의 같은 일을 한다. 이진 보상의 기댓값이 곧 성공 확률 $p_x$와 같고, 로그 미분 트릭으로 그 기울기를 구하면 정책 기울기(REINFORCE 추정기)가 그대로 나온다. $N$개 경로 중 $M$개가 성공했다면, 이진 보상을 쓴 REINFORCE 한 걸음은 모델 자신이 뽑은 성공 경로에 대한 기각 샘플링 미세조정 한 걸음을, 현재 성공률 $M/N$으로 가중한 것과 같다.

이 관점은 서두의 의문에 답을 준다. 매 걸음이 착지한 경로 쪽으로 모델을 끌어당기는데, 성공한 경로가 실패한 경로보다 대체로 길었다면(되짚기 행동을 포함했거나, 환경에서 더 많은 피드백을 모았거나, 그저 운이 좋았거나) 모델은 더 긴 경로를 쓰도록 학습된다. 즉 훈련 과정에서 수많은 연산을 들여 좋은 경로를 탐색한 뒤, 그 경로를 바로 생성하도록 모델을 학습시킨다. 훈련 때 한 번 비용을 치렀으므로 질문할 때마다 여러 경로를 뽑는 비용을 다시 치를 필요가 없다. 이를 탐색의 분할상환이라 부른다. 하나의 모델을 여러 프롬프트로 학습시키므로 보지 못한 새 프롬프트로의 일반화도 가능하지만, 새 프롬프트가 훈련 분포에서 멀어질수록 정확도는 떨어진다. 같은 발상은 언어 모델 밖에서도 나타난다. 알파제로는 매 수마다 트리 탐색을 돌린 뒤 그 수를 선호하도록 정책망을 학습시키고, 물리학자나 기상 예보관은 값비싼 시뮬레이션의 결과를 신경망이 직접 예측하도록 훈련한다.

충실하지 않은 사슬과 보상 해킹

추론 모델을 '어떤 $x$가 주어지든 $\mathcal{S}_x$에 착지하도록 훈련된 분포'로 보면, 이상해 보이던 현상들이 자연스러워진다. 검증기는 최종 답의 정오만 확인한다. 보상은 답이 집합 안에 들면 1, 아니면 0이므로 중간 토큰 $z$는 정답에 이르기 위한 수단일 뿐이다. 그 토큰들이 참이어야 하거나 뒤따르는 답을 설명해야 할 이유는 어디에도 없다. 사전학습 덕분에 종종 상관관계가 나타날 뿐이다. 의미 있는 사고 사슬을 원한다면 보상이나 훈련 목표를 따로 조정해야 한다. 보상 해킹도 같은 틀에서 설명된다. 현실의 검증기는 완벽하지 않아, 검증기가 받아들이는 집합 $\mathcal{S}_x$가 실제 정답 집합과 어긋난다. 오답이 섞여 들거나 정답이 빠지는 것이다. 이 어긋난 영역, 특히 프롬프트에서 가장 쉽게 닿는 지름길 영역을 모델이 찾아내 착지하도록 학습하면 보상 해킹이 된다. RL을 키울수록, 즉 더 많고 더 긴 샘플로 검증기를 광범위하게 '퍼징'할수록 어긋난 영역의 경로를 찾을 가능성이 커지고, 한번 찾으면 훈련이 그 행동을 강화한다.

실무자에게 이 관점이 주는 함의는 분명하다. 추론 성능을 끌어올리려 추론 시점에서 하나의 사슬을 무작정 길게 늘리는 접근은 수익이 금세 꺾인다. 보장된 스케일링 축은 길이가 아니라 샘플 수이며, 더 근본적인 개선은 훈련 단계의 탐색에서 나온다. 벤치마크에서 '더 오래 생각해 정확해졌다'고 읽히는 성과의 상당 부분은, 사실 훈련 때 치른 탐색 비용이 가중치에 분할상환된 결과다. 또한 검증기가 곧 목표를 규정하므로, 검증기의 불완전함은 그대로 모델이 파고들 허점이 된다. 결국 추론은 그 자체로 어떤 목표를 푸는 과정이 아니다. 개별 경로가 정답으로 수렴한다는 보장은 없고, 경로들의 분포 전체에 걸쳐 비로소 높은 성공 확률이 나타날 뿐이다. 다만 이 글은 수학적 비유와 직관에 기댄 개념 틀이라는 점도 함께 새겨둘 필요가 있다. 구체적인 수치나 모델별 측정 결과를 제시하는 것이 아니라, 왜 그런 현상이 나타나는지를 설명하는 렌즈를 제공한다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://alexwang.ai/posts/reasoning-as-pathfinding/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...