머신러닝의 목표는 암기가 아니라 일반화다. 학습 데이터에 대해 좋은 성능을 내는 것은 답을 외워버리면 그만이지만, 진짜 목표는 한 번도 본 적 없는 새로운 데이터에서 잘 작동하는 것이다. 학습 데이터에서는 뛰어나지만 새 데이터에서는 형편없는 모델은 사실 아무것도 배우지 못한 것이며, 이 실패를 우리는 과적합이라 부른다. 교과서적 해법은 데이터의 일부를 떼어놓고 학습에 쓰지 않는 것이다. 이때 검증 세트는 후보 모델을 비교하고 하이퍼파라미터를 조정하며 반복적으로 참조하는 용도이고, 최종 테스트 세트는 학습 과정이 한 번도 보지 않았기에 실제 성능의 올바른 대리 지표가 된다.
문제는 '보지 않았다'는 조건이 반복 사용으로 무너진다는 데 있다. 홀드아웃 세트에서 성능을 확인하고, 그 결과에 맞춰 학습 절차를 손보고, 다시 확인하기를 반복하면 그 세트는 더 이상 미지의 데이터가 아니라 학습 절차의 일부가 되어버린다. 그런데 실제 연구 현장이 바로 이 모습이다. 커뮤니티 전체가 수년간 고정된 벤치마크 몇 개를 놓고 평가·수정·재평가·발표를 반복하는 거대한 언덕 오르기를 한다. 교과서대로라면 리더보드는 벤치마크에서만 그럴듯하고 다른 데서는 평범한 모델로 가득 차야 한다.
예상과 다른 현실
하지만 그런 일은 벌어지지 않았다. 오래되고 반복 사용된 벤치마크에 대해 완전히 새로운 테스트 세트를 만들어 검증한 연구들은, 개선이 대체로 그대로 이전된다는 것을 발견했다. 옛 벤치마크에서 보인 향상이 새 데이터에서도 거의 동일하게 나타난 것이다. 벤치마크 주도 머신러닝은 교과서의 예측과 달리 빠르고 대체로 진짜인 진보를 만들어냈다. 왜 그럴까. 가설은 많았지만 검증은 어려웠다. 실험의 '피험자'가 인류 연구 커뮤니티 전체여서, 분야를 초기화하고 기억을 지운 뒤 지난 10년을 통제된 조건에서 다시 돌릴 수는 없기 때문이다.
아마존이 발표한 논문은 여기서 LLM 기반 연구 에이전트를 활용한다. 이 에이전트들은 인간 커뮤니티가 하는 것과 똑같은 최적화 루프를 자율적으로 돌리며 벤치마크 언덕 오르기를 하는데, 흥미롭게도 이들 역시 과적합하지 않는 듯 보인다. 차이는 에이전트는 리셋할 수 있다는 점이다. 기억을 지우고, 무엇을 보게 할지 정확히 통제하며, 실험을 다시 돌릴 수 있다.
압축이 곧 일반화의 열쇠
연구진의 설명은 오컴의 면도날이라는 오래된 발상에서 출발한다. 데이터를 똑같이 잘 설명하는 가설 중에서는 단순한 쪽이 옳을 가능성이 크다는 직관이다. 만약 어떤 가설을 학습 데이터를 통째로 외우는 데 필요한 것보다 훨씬 적은 비트로 기술할 수 있고, 그 압축된 가설이 학습 데이터에서 매우 잘 작동한다면, 그것은 새 데이터에서도 잘 작동할 수밖에 없다. 짧은 기술은 애초에 학습 데이터를 몰래 저장할 공간이 없으므로 부정행위를 할 수 없기 때문이다. 성공적인 머신러닝 전략은 고도로 압축 가능하다는 가설이 여기서 나온다. 수천 개의 점수를 들여다본 끝에 살아남는 최종 전략은 결국 아키텍처 계열, 옵티마이저, 학습률 스케줄, 데이터 처리 방식 같은 짧은 선택의 목록인 경우가 많다.
여기서 LLM의 세계 지식이 결정적이다. 머신러닝 파이프라인을 고등학생에게 재현 가능한 수준으로 설명하려면 경사하강법부터 프레임워크까지 장황한 대화가 필요하지만, 숙련된 엔지니어에게는 몇 문장이면 끝난다. 아키텍처, 배치 크기, 옵티마이저, 하이퍼파라미터 몇 개만 전하면 나머지는 상대가 채운다. 이 배경 지식은 학습 세트를 보지 않고도 적을 수 있으므로 오컴의 면도날 논증에서 불리하게 작용하지 않는다. 현대 LLM은 바로 이런 '지식 있는 청자' 역할을 하며, 간결한 전문가 대 전문가 메시지를 완전한 작동 절차로 풀어내는 뛰어난 압축 해독기가 된다.
병목을 통과시킨 실험
실험 설계는 세 에이전트로 구성된다. 탐색자는 검증 세트에 자유롭게 접근해 수백 회 반복하며 성능을 끌어올린다. 압축자는 그 전 과정의 기록을 읽고 승리 전략을 극히 짧은 프롬프트로 요약한다. 재현자는 그 프롬프트와 학습 데이터만으로 전략을 처음부터 구현하되, 검증 세트나 탐색자의 코드·기록에는 전혀 접근하지 못한다. 재현자가 냉정하게 시작해 몇 개 토큰만으로 탐색자의 성능을 따라잡는다면, 검증 세트에서 얻은 정보가 그 작은 채널을 통과했다는 뜻이며 이를 '출력 압축 인증서'라 부른다. 재현자는 매번 리셋되므로 압축자는 여러 압축을 시험할 수 있다.
결과는 놀라울 만큼 작았다. 표 형태 분류, 이미지 분류, 언어 모델링, 확산 모델, 보상 모델까지 여덟 개 데이터셋에 걸쳐 32토큰 프롬프트만으로 대부분의 문제에서 탐색자의 적응적 최적화 모델을 따라잡았고, 한 언어 모델링 전략은 16토큰까지 줄여도 성능 손실이 없었다. 압축된 프롬프트는 인간에겐 암호처럼 보이지만 다른 에이전트에겐 QK 정규화, 12층 768차원 트랜스포머, 특정 옵티마이저와 학습률 같은 구체적 선택을 지시한다. 다만 8토큰으로 줄이면 재현자가 더는 따라잡지 못했는데, 이는 사라진 토큰이 데이터로부터 실제로 학습된 정보를 나르고 있었음을, 즉 재현자의 성공이 사전 지식만의 결과가 아님을 보여준다.
연구진은 반대 방향의 병목도 실험했다. 각 모델의 검증 점수 대신 '기존 최고를 이겼는가'라는 1비트만 돌려주었는데도 탐색자는 전체 수치를 받았을 때와 같은 수준의 전략을 찾아냈고, 이 1비트 버전에는 일반화에 대한 엄밀한 수학적 보증까지 따라붙는다. 마지막으로 이론의 반증 가능성을 확인하기 위해 에이전트에게 검증 세트 직접 접근을 주고 어떤 대가를 치르더라도 성능을 극대화하라고 지시하자, 102회 중 38회에서 검증 정확도가 실제 홀드아웃 정확도를 10% 넘게 앞질렀다. 진짜 과적합한 모델은 이 파이프라인으로 압축되지 않는다는 것이다. 실무자에게 이 연구가 시사하는 바는 분명하다. 최종 산출물을 단순하고 압축 가능한 형태로 유지할 수 있다면, 홀드아웃을 수없이 들여다본 긴 실험 여정 자체는 생각만큼 위험하지 않다는 점이다.