대규모 언어모델(LLM)이 짧은 시간에 지금의 수준에 도달한 데에는 운이 크게 작용했다. 모델을 학습시키려면 방대한 텍스트 뭉치가 필요했는데, 그 데이터가 이미 세상에 흩어져 있었기 때문이다. 지난 수십 년간 인류는 LLM과 무관한 이유로 지식의 공공 기록을 디지털화해 왔다. 위키백과는 역사상 가장 포괄적인 백과사전을 만들었고, 오픈소스 진영은 수 페타바이트 분량의 소스코드를 쌓았으며, 스택익스체인지 커뮤니티는 10년 넘게 질문과 답을 정제했다. 과학자들은 ArXiv에 논문을 올렸고, 프로젝트 구텐베르크는 저작권이 만료된 책을 디지털로 옮겼다. 여기에 2007년부터 웹의 상당 부분을 주기적으로 수집해 누구나 쓸 수 있게 공개해 온 커먼 크롤(Common Crawl)이 더해졌다. 현재 커먼 크롤에 축적된 데이터만 약 10페타바이트에 이른다.
이 거대한 '공유지'가 LLM 혁명의 토대였다. GPT-3는 학습 데이터의 약 60%를 커먼 크롤에서 가져왔고, 초기 라마(Llama)의 데이터 구성도 거의 전부가 인터넷 공유지에서 추출됐다. 물론 웹의 원재료를 학습 가능한 형태로 다듬는 일은 간단하지 않다. 웹페이지는 스팸과 쓰레기가 뒤섞여 지저분하고, 필터링과 HTML 텍스트 추출, 오래된 문서의 OCR, 합성 재작성 같은 주제로 지금도 논문이 나온다. 그럼에도 네모트론(Nemotron)을 비롯한 현대의 오픈 LLM들은 사전학습 데이터의 대부분을 여전히 이 공유지에 의존한다. 즉 공유지 접근이 끊기면 진정한 의미의 오픈 LLM은 존립이 어렵다.
문서가 아니라 과제를 소비하는 사후학습
문제는 프런티어 연구의 무게중심이 사후학습(posttraining), 특히 '에이전트형' AI로 옮겨가면서 드러난다. 사후학습 역시 막대한 연산과 데이터를 요구하지만, 사전학습과 달리 곧바로 가져다 쓸 원재료 더미가 존재하지 않는다. 핵심 차이는 단순하다. 사전학습은 문서를 소비하지만 사후학습은 '과제(task)'를 소비한다. 그리고 여기서 말하는 과제는 사람이 현실에서 수행하는 일과 같지 않다. 인간의 일은 특정 순간에 놓여 있다. 누군가 무언가를 원하고, 행동하고, 세계가 반응하고, 배우면서 목표가 바뀌고, 결국 성공하거나 실패한다. 한 번 시도되면 그 조건은 다시 똑같이 재현되지 않는다.
강화학습(RL) 과제는 이런 일회적 행위를 얼어붙은 형태로 박제한다. 다시 수행 가능한 객체로 만들려면 최소한 세 가지가 보존돼야 한다. 행위가 벌어지는 세계, 그 안에서 이루려는 의도, 그리고 세계와 상호작용할 도구다. 여기에 결과를 보고 의도가 얼마나 충족됐는지 판정하는 채점기(grader)가 더 필요하다. 인류는 책과 도서관, 아카이브, 인터넷처럼 문서 형태의 지식을 영속화하는 제도를 수천 년에 걸쳐 쌓아왔지만, 행위를 영속화하는 기반은 거의 없다.
소프트웨어라는 유일한 예외
단 하나 중요한 예외가 소프트웨어다. 소프트웨어 공학은 상당 부분 '과제를 기록하는' 실천이다. 작업이 벌어지는 세계를 보존하고, 그 배경의 의도를 남기며, 취한 행동의 흔적을 남긴다. 컴퓨터가 결정론적이라는 점도 맞물린다. 재시작하면 상태가 거의 백지로 돌아가고, 기록해 둔 것만 남는다. 이 결정론은 RL에 이상적이다. 에이전트가 과제를 시도하고 변경을 폐기한 뒤 똑같은 출발점에서 다시 시도할 수 있기 때문이다. 버전 관리, 지속적 통합과 단위 테스트, 가상머신과 컨테이너는 모두 이 결정론을 강화해 왔다. 그렇다고 완벽하지는 않다. 데비안은 2013년부터 재현 가능한 빌드를 체계적으로 추진해 왔지만 10년이 넘도록 배포판 전체가 완전히 재현 가능하다고는 말하지 못한다.
그 '쉬운 경우'인 소프트웨어조차 공유지를 과제로 바꾸는 일은 큐레이션보다 제조에 가깝다. SWE-bench가 바로 이 틀을 썼다. 12개 파이썬 저장소에서 9만여 건의 PR을 수집했지만, 의도나 채점기로 깔끔히 매핑되는 것은 8건 중 1건꼴인 1만1,407건뿐이었다. 이 중에서도 약 80%는 패키지를 당시 상태로 재구성할 수 없거나 실행 오류가 나서 실제 과제로 만들 수 없었고, 결국 2,294개만 남았다. 이듬해 OpenAI는 숙련된 파이썬 개발자 93명을 고용해 무작위로 뽑은 1,699개 과제를 수작업 검토한 끝에 3분의 2 이상을 불명확한 프롬프트와 불공정한 테스트 등을 이유로 제거하고 500개의 'Verified'를 추렸다. 그러나 이후 감사에서 그 500개 중 또 6분의 1가량이 깨져 있는 것으로 드러났다.
공유지를 만들 것인가, 사유 자산으로 둘 것인가
SWE-bench는 오히려 잘 만들어진 축에 든다. TaskTrove를 살펴보니 변환된 자바 과제 5,000개 중 90% 이상이 복구 과정에서 폐기됐고, 어떤 파이썬 하위 집합에서는 검증 번들의 98%가 의존성 누락으로 테스트조차 시작하지 못했다. Vals의 감사에서는 샤오미 MiMo v2.6에 공개된 코딩 환경 2,698개 중 3분의 2가 Git에서 정답 수정본을 복구할 수 있는 상태였고, 실제로 에이전트가 그 수정본을 베껴 숨겨진 테스트 다섯 개를 모두 통과한 사례도 있었다. 소프트웨어가 이 정도라면 변호사, 과학자, 영업, 의사처럼 경제의 나머지 영역을 반복 가능한 RL 과제로 인코딩하는 일은 얼마나 더 어렵겠는가. 그 영역에는 공개된 '과제 공유지'의 시작조차 없다. 그래서 프런티어 연구소들은 전문가를 고용해 그들의 일을 RL 과제 틀에 끼워 넣게 하고, 환경과 채점 기준, 검증기, 시뮬레이터를 만들게 한다. 급성장하는 사후학습 데이터 산업의 존재 이유가 여기에 있다.
오픈 모델 진영에는 크롤할 공유지 자체가 없으니 커먼 크롤에 해당하는 것도 없다. 따라서 사후학습 공유지는 인간의 과제를 찾아 RL 과제로 전환하는 대규모의 체계적 '기록' 작업에서 시작할 수밖에 없다. 다만 완전히 맨땅은 아니다. 오픈소스 공유지 자체가 부분적으로 기록된 과제의 보고이고, 변경 이력이 남은 문서나 로그, 절차도 흔적을 남긴다. 에이전트가 산출물과 흔적에서 과제를 역으로 복원하는 일을 돕는 수준에도 이르고 있다. 실무자 입장에서 더 깊은 쟁점은 단순히 'RL 환경을 많이 만들자'가 아니라, 인간 활동의 어느 부분을 영속적이고 기계가 읽을 수 있는 형태로 새길지 결정하고 그 제도를 세우는 데 있다. GDPval 구축 방식이 한 가지 길을 보여준다. 자본의 무게만으로도 가독 가능한 노동의 자동화는 불가피해 보이는 지금, 남은 질문은 그렇게 새겨진 노동의 기록이 소수 기업의 사유 자산이 되느냐, 아니면 대학과 비영리기관, 독립 연구자, 기업이 함께 딛고 설 공유지의 일부가 되느냐다.