NanoGPT Slowrun: 컴퓨팅은 무한히, 데이터는 10분의 1만으로 GPT를 훈련한다면?

데이터 효율성에 초점을 맞춘 새로운 LLM 훈련 실험

일반적인 LLM 훈련이 "더 많은 데이터, 더 많은 컴퓨팅"을 추구한다면, 이 프로젝트는 정반대 질문을 던집니다. 컴퓨팅 자원이 무한하다고 가정할 때, 데이터를 10분의 1만 사용하고도 동일한 성능을 달성할 수 있을까?

핵심 접근법

Andrej Karpathy의 NanoGPT를 기반으로, 이 실험은 다음과 같은 전략으로 데이터 효율성을 극대화합니다.

• 반복 학습(Repeated Training): 같은 데이터를 여러 에폭에 걸쳐 반복 학습하되, 과적합을 방지하는 정교한 기법 적용
• 데이터 증강 및 커리큘럼 학습: 제한된 데이터에서 최대한 다양한 학습 신호를 추출
• 하이퍼파라미터 최적화: 소규모 데이터셋에 최적화된 학습률, 배치 크기 조정

왜 중요한가

이 연구는 특히 한국어 LLM 개발에 시사하는 바가 큽니다. 영어에 비해 양질의 한국어 훈련 데이터는 절대적으로 부족합니다. 데이터 효율적 훈련 기법이 발전한다면, 상대적으로 적은 한국어 코퍼스로도 경쟁력 있는 모델을 만들 수 있는 가능성이 열립니다.

또한 Scaling Law의 관점에서 "데이터가 아닌 컴퓨팅으로 보상할 수 있는 영역"의 경계를 탐색한다는 점에서, Chinchilla 이후 학계의 데이터-컴퓨팅 균형 논의에 새로운 데이터 포인트를 제공합니다.

소규모 팀이나 리소스가 제한된 환경에서 LLM을 파인튜닝하는 분들에게 실질적으로 참고할 만한 실험입니다.