도발적인 제목의 논문이 나왔어요
'LLMs Can't Jump', 그러니까 'LLM은 점프할 수 없다'라는 제목의 포지션 페이퍼가 공개됐어요. 포지션 페이퍼가 뭐냐면, 새로운 실험 결과를 내놓는 논문이 아니라 '우리 분야는 이 문제를 이렇게 봐야 한다'는 주장을 논증하는 학술 글이에요. 최근 머신러닝 학회들이 이런 형식을 공식 트랙으로 받아들이면서, 기술적 디테일에 파묻히기 쉬운 커뮤니티에 큰 방향에 대한 토론을 일으키는 역할을 하고 있죠. 여기서 '점프'는 물론 은유인데요. 학습한 데이터의 범위를 벗어나는 불연속적인 도약, 쉽게 말해 '배운 적 없는 완전히 새로운 것'을 만들어내는 능력을 뜻해요.
왜 점프가 안 된다는 걸까요
LLM이 학습하는 방식을 뜯어보면 이 주장의 근거가 보여요. LLM은 결국 '다음 토큰 예측', 즉 지금까지의 문맥 다음에 올 단어 조각을 맞히는 훈련을 받아요. 그리고 그 훈련은 경사하강법으로 이루어지는데요. 이게 뭐냐면, 안개 낀 산에서 조금씩 낮은 곳으로 발을 옮기듯이, 예측 오차가 줄어드는 방향으로 모델의 파라미터를 아주 조금씩 조정해나가는 방법이에요. 핵심은 이 과정이 본질적으로 '연속적'이라는 거예요. 훈련 데이터가 만들어놓은 지형 위에서 매끄럽게 미끄러져 내려갈 뿐, 절벽 건너편으로 훌쩍 뛰어넘는 동작은 구조적으로 없다는 거죠.
그래서 LLM이 잘하는 건 보간(interpolation)이에요. 이미 본 데이터들 '사이'를 채우는 것, 예를 들어 파이썬 코드도 봤고 하이쿠도 봤으니 '하이쿠 스타일의 파이썬 주석'을 만드는 건 기가 막히게 잘해요. 반면 어려운 건 외삽(extrapolation), 그러니까 본 적 있는 범위 '바깥'으로 나가는 거예요. 과학사의 진짜 혁신들, 뉴턴의 만유인력이나 아인슈타인의 상대성이론 같은 건 기존 지식의 매끄러운 연장이 아니라 프레임 자체를 갈아엎는 불연속적 점프였잖아요. 이 논문의 입장은, 지금의 학습 패러다임 안에서는 아무리 모델을 키워도 그런 점프는 나오지 않는다는 거예요.
물론 반론도 만만치 않아요
이 주장에 고개를 젓는 사람들도 많아요. 모델 규모를 키우다 보면 갑자기 새로운 능력이 나타나는 창발(emergence) 현상이 관찰됐고, 추론 과정에 계산을 더 쓰는 추론 모델들은 처음 보는 문제도 단계적으로 풀어내는 모습을 보여주거든요. 알파고가 인간 기보에 없던 그 유명한 수를 둔 사례도 자주 소환되고요. 다만 알파고는 스스로와 대국하며 배우는 강화학습이었지, 인간 데이터를 흡수하는 LLM 방식이 아니었다는 점에서 반박의 재반박도 있어요. 프랑수아 숄레의 ARC 벤치마크처럼 '처음 보는 규칙을 추론하는' 테스트에서 LLM이 인간보다 한참 약하다는 결과는 이 논문 쪽 진영의 단골 근거이기도 하죠. 결국 이 논쟁은 '스케일이 전부다'라는 낙관론과 '구조적 한계가 있다'는 신중론 사이의 오래된 대립선 위에 있어요.
한국 개발자에게 주는 시사점
철학 논쟁 같지만, 실무에 주는 함의는 꽤 실용적이에요. LLM은 '이미 알려진 패턴의 재조합'에 압도적으로 강해요. 보일러플레이트 작성, 코드 번역, 리팩토링, 문서화처럼 세상에 비슷한 사례가 많은 일은 믿고 맡겨도 되죠. 반대로 전례 없는 아키텍처 결정, 도메인 특수한 설계, 아무도 안 가본 길의 트레이드오프 판단은 여전히 사람의 몫이라는 뜻이기도 해요. 도구의 한계선을 정확히 알면 어디까지 위임하고 어디부터 직접 고민할지가 선명해지거든요. AI 시대에 개발자의 가치가 어디에 남는지에 대한 힌트이기도 하고요.
한 줄로 정리하면, 이 논문은 'LLM은 지도 안에서는 어디든 가지만, 지도 밖으로는 못 나간다'고 주장해요. 여러분 생각은 어때요? 스케일과 새로운 학습 방법이 언젠가 이 벽을 넘을까요, 아니면 점프는 끝까지 인간의 영역으로 남을까요?
🔗 출처: Hacker News