5090 한 장, 1.5시간 학습 트랜스포머가 던진 샘플 효율성 질문

작은 트랜스포머 한 개를 RTX 5090 한 장에서 1시간 30분 만에 밑바닥부터 학습시켜, ARC-AGI 벤치마크에서 상당수의 대형 언어모델을 앞지르고 최근 주목받은 재귀 구조 모델 TRM·HRM과 비슷한 점수를 냈다는 실험 결과가 공개됐다. 저자가 ARC-AGI를 다룬 세 번째 글이자 이전 결과의 후속으로, 앞선 실험은 X(옛 트위터)에서 화제가 되며 루카스 베이어, 제레미 하워드, 로한 아닐 등 여러 연구자의 토론을 불러일으켰다. 이번 작업의 문제의식은 분명하다. 저자는 지금 AI에서 가장 중요한 미해결 과제가 '샘플 효율성'이라고 보고, 트랜스포머와 오늘날의 딥러닝 기법만으로 그 한계가 어디까지인지, 그리고 그 실험 비용을 얼마나 낮출 수 있는지를 확인하려 했다.

무엇을 바꿨나

핵심 변화 중 하나는 입력 토큰에 대해서는 더 이상 학습하지 않고, 손실 함수에 출력 토큰만 포함시킨 점이다. 이렇게 하면 접근 방식이 지도학습(supervised) 형태가 되는데, 점수는 40%에서 44%로 소폭 올랐다. 흥미로운 대목은 저자 스스로 그 이유를 명확히 설명하지 못한다는 점, 그리고 테스트 손실(loss)은 오히려 나빠졌는데도 점수는 더 좋아졌다는 점이다. 게다가 결과의 안정성이 높아지고 실행 간 점수 편차도 줄었다. 학습 데이터는 ARC-2에서 ARC-1과 겹치지 않는 과제를 골라 추가했다. ARC-2는 ARC-1 퍼즐 773개와 신규 퍼즐 347개로 구성되며, 대부분의 ARC-1 평가 퍼즐이 그대로 반복되기 때문에 아무 필터링 없이 ARC-2로 학습하면 데이터 누출이 발생해 100%가 나온다. 저자는 겹치는 773개를 걸러내 누출을 막았다고 밝혔고, 추가 데이터를 빼도 약 40%는 유지되지만 연산량이 두 배가량 필요하다고 설명한다.

성능에 가장 크게 기여한 요소로는 좋은 표현(representation), 구체적으로 3D RoPE와 과제별 임베딩을 꼽았다. 최적화 기법에서는 처음에 바닐라 Muon을 시도했으나 학습 후반부에 손실과 점수가 수렴하지 못하고 머무는 문제가 있었고, 모멘텀이나 학습률을 크게 낮추면 나아졌지만 수동 개입을 피하고자 NorMuon으로 바꾸자 이 문제가 사라졌다고 한다.

실무자가 눈여겨볼 지점

이 결과에서 실무적으로 곱씹을 만한 대목은 '작은 데이터셋에서 검증 손실을 최소화하는 것'을 샘플 효율성의 목표로 삼는 흔한 접근이 실패할 수 있다는 관찰이다. 이번 실험은 검증 손실이 나빠졌음에도 실제 과제 해결 점수가 올라간 사례를 보여주며, 손실 지표와 목표 성능이 어긋날 수 있음을 상기시킨다. 모델과 코드는 오픈소스로 공개돼 있어 누구나 수정하고 재현할 수 있으며, 저자는 여러 번의 실행에서 해결된 과제의 합집합이 이미 55%에 달했다는 점을 근거로 큰 구조 변경 없이 65%까지 도달할 수 있을 것으로 본다. 비용 역시 직접 작성한 GPU 코드로 10배가량 줄일 여지가 있다고 덧붙인다.

동시에 저자는 최근 유행하는 재귀 구조에 대해 신중한 입장을 취한다. HRM이나 TRM 같은 재귀 모델이 다음 돌파구라는 기대가 있지만, 이를 입증할 충분한 절제 실험(ablation)이 부족하며 자신의 모델은 재귀 없이도 동일한 성능에 도달했다고 지적한다. 특히 TRM이 스스로를 700만 파라미터 모델로 홍보한 점을 두고, 실제로는 1억 개가 넘는 규모의 임베딩 가중치가 함께 학습되는데 이를 어디에도 밝히지 않은 것은 오해를 부르며 성능의 원인을 모호하게 만든다고 비판했다. 재귀의 확실한 이점은 메모리 이동을 늘리지 않고 연산을 키울 수 있다는 점 정도로 한정된다는 것이다.

한계와 남은 질문

다만 저자 본인이 인정하는 한계가 존재한다. 이번 성과는 데이터 증강(augmentation)에 의존했는데, 저자는 이를 '비터 레슨(bitter lesson)'에 어긋나는 편법으로 규정하며 마음에 들어 하지 않고, 학습 비용을 낮게 유지하면서 증강을 제거하는 것을 다음 과제로 남겨뒀다. ARC 벤치마크 자체에 대한 논쟁도 여전하다. 벤치마크 설계자 프랑수아 숄레의 입장은 ARC가 유동지능(fluid intelligence)을 측정하려는 것이며, 이를 푸는 것이 AGI 달성의 신호가 아니라 올바른 연구 질문을 짚어내기 위한 도구라는 것이다. LLM의 궤적을 보면 O1이 ARC-1에서 75%를 기록했지만 ARC-2가 등장하자 사고형 모델을 포함한 모든 LLM의 점수가 초기화됐고, 이는 사후학습만으로 일반적 추론 능력이 이전되지 않을 가능성을 시사한다. 결국 이번 실험이 던지는 메시지는 화려한 신기술보다, 6년간 상금이 걸린 채 풀리지 않았던 문제가 가장 단순한 트랜스포머와 명료한 표현만으로도 상당 부분 다뤄질 수 있었다는 사실 자체에 가깝다. 그것이 그동안의 실험 비용 장벽 때문이었는지, 아니면 딥러닝의 잠재력이 과소평가된 탓이었는지는 앞으로 검증할 몫으로 남는다.