인터넷 아카이브를 차단해도 AI 학습은 막지 못한다 — 대신 웹의 역사가 사라진다

웹의 기억 저장소가 위협받고 있다

EFF(Electronic Frontier Foundation)가 최근 인터넷 아카이브(Internet Archive)에 대한 접근 차단 움직임에 대해 강력한 경고를 내놓았습니다. 일부 웹사이트 운영자들이 AI 크롤러의 학습 데이터 수집을 막겠다는 명목으로 인터넷 아카이브의 크롤러까지 함께 차단하고 있는데, 이것이 AI 학습을 막는 데는 실질적 효과가 없으면서 웹의 역사적 기록만 훼손하고 있다는 것입니다. 이 문제는 단순히 하나의 비영리 단체의 사정이 아닙니다. 웹이라는 공간의 기록과 보존, 그리고 AI 시대의 저작권이라는 거대한 주제가 교차하는 지점입니다.

인터넷 아카이브가 하는 일

인터넷 아카이브는 1996년부터 운영되어 온 비영리 디지털 도서관입니다. 가장 잘 알려진 서비스는 Wayback Machine으로, 웹 페이지의 과거 버전을 저장하고 누구나 열람할 수 있게 합니다. 현재까지 8,660억 개 이상의 웹 페이지가 아카이빙되어 있습니다. 개발자 입장에서 이것이 왜 중요한지 생각해보면, 우리가 참고하는 기술 문서, 블로그 포스트, API 레퍼런스 등이 원본 사이트에서 삭제된 후에도 Wayback Machine을 통해 접근할 수 있었던 경험이 한 번쯤은 있을 것입니다. Stack Overflow 답변에 달린 링크가 404를 반환할 때, Wayback Machine은 종종 유일한 구원자입니다.

인터넷 아카이브의 크롤러는 robots.txt를 존중하며, 상업적 목적이 아닌 보존 목적으로 운영됩니다. 그런데 문제는 robots.txt가 크롤러를 구분하는 메커니즘이 충분히 세밀하지 않다는 데 있습니다.

robots.txt의 한계와 무차별 차단

robots.txt는 웹사이트가 크롤러에게 "이 영역은 크롤링하지 말아주세요"라고 요청하는 표준 프로토콜입니다. 하지만 이것은 어디까지나 협약(convention)이지 강제력이 있는 보안 메커니즘이 아닙니다. AI 학습용 크롤러 중 상당수는 이미 robots.txt를 무시하거나, User-Agent를 위장하여 크롤링합니다. OpenAI의 GPTBot이나 Google의 AI 크롤러처럼 정직하게 자신을 밝히는 크롤러만 robots.txt로 차단할 수 있을 뿐입니다.

결과적으로 사이트 운영자들이 AI 크롤러를 차단하려고 robots.txt에 광범위한 Disallow 규칙을 추가하면, 인터넷 아카이브처럼 robots.txt를 성실히 준수하는 비영리 크롤러만 차단됩니다. 정작 막으려는 AI 크롤러들은 우회하여 데이터를 가져가고, 웹의 역사적 보존만 피해를 입는 아이러니가 발생합니다. 이것은 마치 정문에 자물쇠를 걸었는데, 도둑은 뒷문으로 들어오고 우편배달부만 문 앞에서 발길을 돌리는 상황과 같습니다.

웹의 휘발성이라는 근본 문제

웹 콘텐츠는 생각보다 훨씬 빠르게 사라집니다. 연구에 따르면 웹 페이지의 평균 수명은 약 100일이며, 매년 상당수의 URL이 접근 불가 상태가 됩니다. 학술 논문에 인용된 URL의 상당수가 이미 깨진 링크(link rot)라는 연구 결과도 있습니다. 인터넷 아카이브는 이 문제에 대한 거의 유일한 대규모 솔루션입니다.

개발자 생태계에서도 이 문제는 심각합니다. 한때 중요했던 오픈소스 프로젝트의 문서, 더 이상 유지보수되지 않는 라이브러리의 마이그레이션 가이드, 폐쇄된 서비스의 API 문서 등이 원본 사이트에서 사라졌을 때, 인터넷 아카이브가 이를 보존하고 있지 않다면 그 지식은 영구적으로 소실됩니다. 특히 한국의 경우, 네이버 블로그나 티스토리에 작성된 기술 포스트들이 작성자 탈퇴나 서비스 정책 변경으로 사라지는 사례가 빈번합니다.

AI 학습과 저작권, 해결되지 않은 과제

EFF의 주장은 인터넷 아카이브 차단이 AI 문제의 해결책이 아니라는 것이지, AI 학습에 따른 저작권 문제가 없다는 것은 아닙니다. 현재 AI 학습과 저작권을 둘러싼 법적 분쟁은 전 세계적으로 진행 중입니다. New York Times vs. OpenAI 소송, Getty Images vs. Stability AI 소송 등이 대표적입니다. 핵심 쟁점은 공개된 웹 콘텐츠를 AI 모델 학습에 사용하는 것이 공정 이용(fair use)에 해당하는지 여부입니다.

이 문제에 대한 기술적 해결책도 여러 방향에서 모색되고 있습니다. 웹사이트가 AI 학습 허용 여부를 명시할 수 있는 새로운 표준(예: ai.txt, TDM Reservation Protocol), 콘텐츠 출처를 추적할 수 있는 C2PA 같은 기술, 그리고 데이터 제공자에게 보상하는 라이선싱 모델 등이 논의되고 있습니다. 하지만 어떤 방향이든 인터넷 아카이브 같은 보존 목적의 크롤링과 상업적 AI 학습 목적의 크롤링을 구분할 수 있는 메커니즘이 필요합니다.

한국 개발자에게 주는 시사점

이 이슈는 한국 개발 생태계에도 직접적인 영향을 줍니다. 첫째, 만약 여러분이 웹사이트나 서비스를 운영하고 있고 AI 크롤러 차단을 고려하고 있다면, robots.txt의 규칙을 신중하게 작성해야 합니다. User-agent: *로 모든 크롤러를 차단하는 것이 아니라, 특정 AI 크롤러(GPTBot, CCBot, anthropic-ai 등)만 선별적으로 차단하는 것이 바람직합니다. 인터넷 아카이브의 크롤러(ia_archiver)는 차단 목록에서 제외하는 것을 권장합니다.

둘째, 자신이 작성한 기술 콘텐츠의 보존에 대해 생각해볼 필요가 있습니다. 개인 블로그라면 GitHub Pages 같은 곳에 정적 사이트로 백업하거나, 인터넷 아카이브의 "Save Page Now" 기능을 활용하여 중요한 페이지를 수동으로 아카이빙할 수 있습니다.

셋째, 크롤링과 스크레이핑 관련 법률이 한국에서도 점점 중요해지고 있습니다. 개인정보보호법과 저작권법의 교차점에서, 어디까지가 허용되는 데이터 수집이고 어디부터가 침해인지에 대한 이해가 개발자에게도 필요한 시대입니다.

마무리

AI 시대에 저작권 보호는 중요하지만, 그 과정에서 웹의 역사적 보존이라는 공공의 가치가 부수적 피해를 입어서는 안 된다는 것이 핵심입니다. 여러분은 AI 학습을 위한 크롤링과 보존을 위한 크롤링을 기술적으로 어떻게 구분할 수 있다고 생각하시나요? 그리고 웹 콘텐츠의 장기 보존에 대해 개발자로서 어떤 책임이 있다고 느끼시나요?