원문 페이지(테네시대학교가 운영하는 'Cormac McCarthy's Library' 아카이브)는 정작 자료 대신 Anubis라는 봇 차단 시스템의 안내 화면만을 반환했다. 추출된 텍스트에는 도서관 소장품에 관한 내용이 한 줄도 없고, AI 스크래핑을 막기 위한 방어 장치의 작동 원리와 양해 요청만 담겨 있었다. 그래서 이 글은 소장품이 아니라 그 앞을 가로막은 기술 자체를 다룬다. 역설적이게도 이 방어막이 지금 웹 인프라 운영자들이 처한 현실을 가장 선명하게 보여주기 때문이다.
Anubis는 자신을 '타협안(compromise)'이라고 설명한다. 공격적으로 사이트를 긁어가는 AI 기업들이 서버 부하를 유발하고, 그 결과 사이트가 다운되어 모두가 자료에 접근하지 못하게 되는 상황을 막기 위한 장치라는 것이다. 흥미로운 점은 이것이 단순한 접근 차단이 아니라 '작업증명(Proof-of-Work)' 방식을 쓴다는 데 있다. 방문자의 브라우저가 일정한 계산 과제를 풀어야만 실제 페이지로 넘어갈 수 있게 만드는 구조다.
왜 하필 작업증명인가
Anubis가 참고한 모델은 해시캐시(Hashcash)다. 해시캐시는 원래 이메일 스팸을 줄이기 위해 제안된 작업증명 기법으로, 메일 한 통을 보낼 때마다 발신자에게 약간의 계산 비용을 부과하는 아이디어였다. 핵심 발상은 비용의 비대칭성에 있다. 개별 사용자 한 명에게 부과되는 추가 부하는 무시할 만큼 작지만, 대규모로 사이트를 긁는 스크래퍼 입장에서는 이 작은 비용이 수백만 번 누적되면서 수집 작업 전체를 훨씬 비싸게 만든다. 요청을 전면 금지하는 대신, 대량 자동화의 경제성 자체를 무너뜨리는 전략인 셈이다.
이 접근은 CAPTCHA 같은 전통적 방법과 성격이 다르다. CAPTCHA가 '사람인지 판별'에 초점을 둔다면, 작업증명은 판별 자체를 포기하고 '비용을 치르게 하는' 쪽으로 방향을 튼다. 사람인지 기계인지 완벽히 구분하지 못하더라도, 수집을 경제적으로 수지가 맞지 않게 만들면 목적은 달성된다는 논리다. 최근 생성형 AI 학습 데이터 수요가 폭증하면서 소규모 아카이브와 공공 자료 사이트가 감당하기 어려운 트래픽에 시달리는 상황을 감안하면, 이런 발상의 전환은 충분히 납득할 만하다.
임시방편임을 자인하는 설계
주목할 대목은 Anubis 스스로가 이 방식을 '임시방편(placeholder solution)'이라고 못 박는다는 점이다. 궁극적인 지향점은 작업증명 과제를 모두에게 들이미는 것이 아니라, 헤드리스 브라우저를 식별하는 지문 인식(fingerprinting) 기술을 고도화하는 데 있다고 밝힌다. 안내문은 그 예로 폰트 렌더링 방식의 차이를 통한 탐지를 든다. 정상적인 사용자로 보이는 트래픽에는 계산 과제를 아예 보여주지 않고 통과시키고, 의심스러운 자동화 클라이언트에만 비용을 물리겠다는 구상이다. 다시 말해 현재의 전면적 작업증명은 더 정교한 탐지 체계가 자리 잡기 전까지의 과도기적 수단이다.
실무자가 짚어야 할 지점
실무 관점에서 이 방식에는 분명한 한계가 따른다. Anubis는 최신 자바스크립트 기능을 요구하며, JShelter 같은 프라이버시 보호 플러그인이 해당 기능을 비활성화하면 아예 동작하지 않는다. 안내문이 "이 도메인에서는 JShelter를 꺼 달라"고 요청하는 이유다. 결국 자바스크립트를 실행하지 않는 환경, 접근성 보조 기술, 또는 보안 플러그인을 쓰는 정상 사용자가 함께 걸러질 수 있다는 뜻이다. 서버가 과부하 상태면 과제 스크립트 자체가 로드되지 않아 정상 방문자도 빈 화면을 보게 되는데, 이번에 원문이 수집되지 못한 것도 정확히 이 지점이었다.
더 근본적으로, 작업증명은 비용을 올릴 뿐 결정적으로 차단하지는 못한다. 자금이 넉넉한 대형 AI 기업은 늘어난 연산 비용을 감수하고라도 수집을 강행할 수 있고, 반대로 선의의 연구자나 아카이브 이용자는 불편을 고스란히 떠안는다. 그럼에도 이 사례가 시사하는 바는 뚜렷하다. 콘텐츠를 공개한다는 것과 무제한 기계 수집을 허용한다는 것이 더 이상 같은 의미가 아니게 되었다는 점, 그리고 그 경계를 지키는 비용이 이제는 사이트 운영자 각자의 몫으로 넘어왔다는 점이다. 자료 접근을 설계하는 쪽이든 수집 도구를 운용하는 쪽이든, 이 비대칭 비용 구조를 전제로 자신의 파이프라인을 다시 들여다볼 필요가 있다.