> 이 글은 OpenAthena 블로그 원문을 직접 읽지 못한 상태에서 제목이 던지는 문제의식과 공개된 데이터셋 사례를 바탕으로 쓴 해설이에요. 원문 저자의 실제 논지와는 다를 수 있으니 원문(https://openathena.ai/blog/there-is-no-posttraining-data-commons/)도 함께 읽어주세요.
제목 하나가 던지는 질문
OpenAthena 블로그에 'There is no posttraining data commons'라는 글이 올라왔어요. 우리말로 옮기면 '사후학습 데이터의 공유지는 없다'쯤 돼요. 짧지만 오픈소스 AI의 약점을 정확히 찌르는 문장이에요.
오픈 모델 가중치는 이제 흔해졌어요. 그런데 그 모델을 쓸 만한 어시스턴트로 만든 과정을 따라 하려고 하면 막히는 지점이 나오거든요. 그 자리에 있는 게 바로 사후학습 데이터예요.
사전학습과 사후학습, 뭐가 다른가요
사전학습(pretraining) 은 웹 문서를 엄청나게 읽히면서 다음 단어를 맞추게 하는 단계예요. 도서관 책을 통째로 읽은 신입사원을 만드는 과정이라고 보면 돼요. 아는 건 많은데 일을 시키면 엉뚱한 소리를 하죠.
사후학습(post-training) 은 그 신입을 실무에 맞게 다듬는 단계예요. 질문과 모범 답안을 보여주는 SFT(지도 미세조정), 두 답변 중 사람이 더 좋아한 쪽을 배우는 RLHF나 DPO, 그리고 수학 문제나 코드 테스트처럼 정답을 자동으로 채점할 수 있는 과제로 훈련하는 강화학습이 여기 들어가요. 모델의 말투, 지시 이행, 도구 사용 능력은 이 단계의 영향을 크게 받아요.
공유지가 있는 쪽과 없는 쪽
공유지(commons) 는 누구나 쓰고 누구나 보탤 수 있는 공용 자원을 뜻해요. 사전학습에는 이런 게 있어요. Common Crawl이라는 거대한 웹 크롤 아카이브가 바닥에 깔려 있고, 그 위로 C4, The Pile, Dolma, FineWeb 같은 정제 데이터셋이 쌓여왔죠. 저작권 논쟁은 남아 있지만, 새로 시작하는 연구자에게 출발선은 있는 셈이에요.
사후학습은 사정이 달라요. 이유를 정리해보면 이래요.
첫째, 비싸요. 웹 텍스트는 이미 세상에 있지만, 좋은 모범 답안과 선호 판단은 사람이 새로 만들어야 하거든요. 전문 분야로 갈수록 단가가 뛰어요.
둘째, 경쟁력 그 자체예요. 기업들이 가중치는 공개해도 사후학습 데이터는 잘 공개하지 않아요. 사용자 로그와 라벨링 노하우가 곧 제품의 차이니까요.
셋째, 라이선스가 꼬여 있어요. 초기 공개 데이터 상당수가 폐쇄형 모델의 출력에서 나왔어요. Alpaca는 OpenAI 모델로 생성한 지시문을 썼고, ShareGPT는 사용자들이 공유한 ChatGPT 대화를 모은 것이었죠. 이런 데이터는 모델 약관 때문에 상업적으로 쓰기 애매해요.
넷째, 재사용이 어려워요. 웹 텍스트는 누구에게나 비슷한 재료지만, 사후학습 데이터는 특정 모델의 약점과 정책에 맞춰져 있어요. 강화학습으로 가면 문제가 더 커져요. 필요한 건 파일이 아니라 채점기와 실행 환경, 즉 코드와 인프라거든요.
그래도 시도는 계속되고 있어요
공개 노력이 없었던 건 아니에요. OpenAssistant의 OASST1은 자원봉사자들이 만든 대화 데이터였고, Anthropic은 HH-RLHF 선호 데이터를 공개했으며, UltraFeedback은 선호 학습의 단골 재료가 됐어요. AI2의 Tülu 3는 데이터와 학습 레시피를 함께 공개해서 대표적인 사례로 꼽히고, NVIDIA도 Nemotron 계열의 사후학습 데이터를 내놨어요. 추론 쪽에는 OpenThoughts 같은 프로젝트가 있고, Prime Intellect는 강화학습 환경을 공유하는 허브를 만들었고요.
다만 이들은 프로젝트별로 흩어져 있고 품질 기준과 라이선스도 제각각이에요. Common Crawl처럼 모두가 당연하게 출발점으로 삼는 공용 기반이라고 하기엔 아직 부족해요. 제목이 가리키는 빈자리도 이 지점으로 보여요.
한국 개발자에게 주는 시사점
한국어로 오면 빈자리가 더 커요. AI Hub나 국립국어원의 모두의 말뭉치 같은 공공 자원은 있지만, 최신 어시스턴트 수준의 한국어 지시 데이터와 선호 데이터는 여전히 부족한 편이에요. 영어 데이터를 번역해서 메우면 말투가 어색해지고 한국의 제도나 문화 맥락이 빠지기 쉽거든요. 소버린 AI를 이야기할 때 모델 크기만큼 이 데이터 층을 봐야 하는 이유예요.
실무에서 바로 챙길 것도 있어요. 사내 모델을 튜닝한다면 학습 데이터보다 평가셋을 먼저 만드세요. 우리 업무에서 좋은 답이 뭔지 정의되지 않으면 어떤 데이터도 효과를 잴 수 없어요. 합성 데이터를 만들 때는 생성에 쓴 모델의 약관이 학습 용도를 허용하는지 확인하고, 공개 데이터셋을 가져올 때는 라이선스와 출처를 꼭 기록해두세요. 상담 로그나 고객 문의를 쓴다면 개인정보 처리도 먼저 정리해야 하고요.
마무리
오픈소스 AI의 다음 병목은 가중치가 아니라, 모델을 쓸모 있게 만드는 데이터를 함께 쌓는 방법이에요. 여러분이 한국어 사후학습 데이터를 공용으로 만든다면 어떤 분야부터 시작하고 싶으신가요? 기업이 이런 데이터를 공개하게 만들 유인은 무엇일까요?
🔗 출처: Hacker News