AI 회사들이 모델 학습용 텍스트를 확보하려고 종이책을 대량으로 사들이고 있다는 건 이제 알려진 사실인데요, 그 과정에서 다시 구하기 어려운 희귀본과 절판본까지 통째로 파쇄되고 있다는 지적이 나왔어요. 오늘은 이게 왜 벌어지는 일인지, 배경부터 차근차근 풀어볼게요.
왜 종이책까지 사들이냐면
LLM의 성능은 결국 학습 데이터의 양과 질이 결정해요. 그런데 웹 텍스트는 이미 긁을 만큼 긁었고, 품질도 들쭉날쭉한 데다 최근에는 AI가 생성한 글로 오염되기 시작했거든요. 반면 책은 인류가 만든 텍스트 중 가장 밀도가 높고, 편집자의 손을 거쳐 교정까지 잘 된 최고급 데이터예요. 그럼 전자책을 사면 되지 않냐 싶지만, 전자책은 DRM(복제 방지 장치)과 라이선스 계약이 얽혀 있어서 학습에 쓰기가 법적으로 더 복잡해요. 그래서 나온 답이 '종이책을 정식으로 사서 직접 디지털화하자'였던 거죠.
결정적 장면은 2025년 판결이었어요
앤트로픽의 저작권 소송 과정에서 이 회사가 수백만 권의 책을 사들여 책등을 잘라 스캔하고 원본은 폐기해 왔다는 사실이 드러났는데요. 법원은 '정당하게 구매한 종이책을 디지털로 변환해 학습에 쓰는 것은 공정 이용(fair use)에 해당한다'고 판단했어요. 공정 이용이 뭐냐면, 저작권자의 허락 없이도 저작물을 쓸 수 있는 예외를 인정해 주는 미국의 법리예요. 반면 해적판 사이트에서 내려받은 책은 별개 문제로 남아서 결국 거액의 합의로 이어졌고요. 결과적으로 이 판결 이후 '책을 사서 파쇄 스캔하는' 경로가 법적으로 가장 안전한 데이터 확보 루트가 됐고, 업계 전체가 이 방식으로 몰리게 된 거예요.
파쇄 스캔이 뭐냐면
책등, 그러니까 제본된 부분을 재단기로 잘라내서 책을 낱장 뭉치로 만든 다음 고속 스캐너에 넣는 방식이에요. 페이지를 한 장씩 넘기며 촬영하는 비파괴 스캔보다 몇 배는 빠르고 저렴하거든요. 문제는 매입 방식에 있어요. 중고 도매상을 통해 사실상 무게 단위로 사들이다 보니 권당 검수라는 게 없어요. 그 더미 안에 절판본, 소량 인쇄본, 학술적 가치가 있는 희귀본이 섞여 있어도 그대로 재단기로 들어가는 거죠. 흔한 베스트셀러야 세상에 수백만 부가 있으니 몇 권 파쇄돼도 상관없지만, 몇 부 안 남은 책이 갈려나가면 그 판본은 물리적으로 영영 사라지는 거거든요.
구글북스와 비교해 보면
20년 전 구글북스 프로젝트는 도서관과 제휴해서 책을 비파괴 방식으로 스캔하고 원본은 반납했어요. 속도는 느렸지만 디지털화와 보존이 공존하는 모델이었죠. 지금은 정반대예요. 스캔된 디지털 사본은 각 회사의 학습 파이프라인 안에만 존재하고 외부에 공개되지 않아요. 그러니 '디지털로 남았으니 보존된 것 아니냐'는 반론도 힘을 잃어요. 누구도 열람할 수 없는 사본은 보존이라고 부르기 어렵고, 종이라는 물성과 판본 자체의 가치는 이미 사라졌으니까요. 책을 남기기 위해 스캔하던 시대에서, 책을 갈아 넣기 위해 스캔하는 시대로 바뀐 셈이에요.
개발자에게 주는 시사점
이 이야기는 결국 모델 경쟁이 곧 데이터 소싱 경쟁이라는 걸 보여줘요. 데이터 파이프라인을 만드는 개발자라면 '합법적인 것'과 '괜찮은 것' 사이의 간극을 한 번쯤 생각해 볼 만해요. 크롤링 하나를 하더라도 법적으로 문제없다는 것과 그 데이터의 원 생산자에게 피해가 없다는 건 다른 문제거든요. 한국에서도 AI 학습 데이터의 저작권 논의가 한창 진행 중이라 남의 나라 이야기만도 아니고요.
정리하면
가장 합법적인 데이터 확보 방식이 문화적 손실을 낳고 있다는 역설이에요. 법적으로 문제가 없다면 그걸로 충분한 걸까요? 희귀본을 걸러내는 검수 비용을 AI 회사가 부담해야 한다고 보시나요, 아니면 시장에 나온 중고책의 운명은 구매자 마음이라고 보시나요?
🔗 출처: Hacker News