아누비스, WebAssembly 기반 작업증명 도입까지 걸린 1년

AI 스크래퍼가 웹사이트를 무차별적으로 긁어가면서 발생하는 트래픽 폭증과 서비스 중단은 이미 여러 오픈소스 프로젝트와 소규모 사이트 운영자들이 공통으로 겪는 문제가 됐다. 이런 상황에서 등장한 방어 도구가 아누비스(Anubis)다. 아누비스는 사용자가 보호된 사이트에 접근할 때 브라우저에게 간단한 계산 문제를 풀게 하고, 그 결과를 제출해야 실제 콘텐츠에 접근할 수 있도록 하는 방식으로 동작한다. 개발자는 최근 이 아누비스의 다음 버전에 WebAssembly(WASM) 기반 작업증명 검사를 탑재했다고 밝혔다. 관리자는 임계값(threshold)이나 봇 규칙 설정에서 이 기능을 켤 수 있다.

주목할 부분은 이 결과물이 나오기까지의 과정이다. 개발자에 따르면 1년의 작업, 수백 건의 커밋, 다섯 세대에 걸친 풀 리퀘스트, 수십 개의 테스트, 아누비스 일부의 Rust 재작성, 그리고 본인 경력 최초로 마주친 컴파일러 버그가 있었고, 개발용 워크스테이션의 메모리가 최소 세 번은 바닥났다고 한다. 단순한 기능 추가가 아니라, 기존 자바스크립트 기반 검사 로직을 다른 실행 환경으로 옮기는 작업이 그만큼 까다로웠다는 뜻이다.

작업증명이라는 절충안

아누비스가 채택한 작업증명(Proof-of-Work)은 이메일 스팸을 줄이기 위해 제안됐던 해시캐시(Hashcash) 계열의 아이디어에서 출발한다. 핵심 발상은 부하의 비대칭성이다. 개별 사용자 한 명이 페이지를 한 번 열 때 추가로 드는 계산 비용은 무시할 만한 수준이지만, 대량으로 페이지를 긁어가는 스크래퍼 입장에서는 이 비용이 요청 수만큼 누적되어 스크래핑 자체를 훨씬 비싸게 만든다. 방어자는 거의 부담을 지지 않으면서 공격자에게만 비용을 전가하는 구조다.

다만 개발자 스스로도 이를 '절충안(compromise)'이자 '임시방편(placeholder)'이라고 규정한다는 점을 실무자는 놓치지 말아야 한다. 작업증명 페이지는 그 자체가 목적이 아니라, 헤드리스 브라우저를 식별하는 지문(fingerprinting) 기술을 정교하게 다듬을 시간을 벌기 위한 수단이라는 것이다. 예컨대 폰트 렌더링 방식의 차이로 자동화 브라우저를 구분해내면, 정상 사용자로 판단되는 방문자에게는 굳이 계산 문제를 제시하지 않아도 된다. 궁극적으로는 작업증명 화면을 마주하는 사람을 최대한 줄이는 것이 방향이다.

왜 WebAssembly인가

기존 검사가 자바스크립트로 구현돼 있었다는 점을 감안하면, WASM으로의 이전은 실행 성능과 이식성 측면의 선택으로 읽힌다. 작업증명은 본질적으로 반복적인 해시 연산이며, 이런 계산 집약적 작업은 자바스크립트보다 WASM에서 더 예측 가능하고 빠른 성능을 내는 경우가 많다. Rust로 핵심부를 재작성한 뒤 WASM으로 컴파일하는 접근은 이런 맥락에서 자연스럽다. 정상 사용자의 체감 대기 시간을 줄이면서도, 스크래퍼에게 부과하는 계산 비용의 난이도는 유지하거나 세밀하게 조정할 수 있는 여지가 생긴다.

다만 이 방식에는 분명한 전제 조건과 한계가 따른다. 아누비스는 최신 자바스크립트 기능을 요구하며, JShelter 같은 브라우저 확장이 이 기능들을 비활성화하면 검사 자체가 로드되지 않는다. 실제로 자바스크립트를 불러오지 못하면 '서버가 과부하일 수 있으니 새로고침하라'는 안내와 함께 콘텐츠 접근이 막힌다. 프라이버시 강화 플러그인을 쓰는 정상 사용자가 오탐으로 차단될 수 있다는 의미이며, 사이트 운영자는 이런 사용자층에 대한 안내를 함께 마련해둘 필요가 있다.

한국의 실무자 관점에서 이 변화가 주는 시사점은 두 가지다. 첫째, AI 스크래핑 방어가 이제 단순한 요청 속도 제한이나 IP 차단을 넘어 클라이언트 측 연산과 지문 식별을 결합하는 방향으로 이동하고 있다는 점이다. 둘째, 작업증명은 만능 해법이 아니라 시간을 버는 도구라는 점을 명확히 인식해야 한다는 것이다. WASM 기반 검사를 도입하더라도 정상 사용자 경험, 접근성, 프라이버시 도구와의 충돌을 함께 점검해야 실제 운영에서 부작용을 줄일 수 있다. 방어와 사용성 사이의 균형을 어디에 둘지는 결국 각 사이트의 트래픽 특성과 사용자 구성에 따라 다르게 조율될 수밖에 없다.