인터넷 아카이브(Internet Archive)가 운영하는 웹 아카이브 서비스 웨이백 머신(Wayback Machine)이 최근 접속 안정성 문제로 몸살을 앓고 있다. 아카이브 측은 공식 블로그를 통해 "웨이백 머신을 고쳐달라"는 이용자들의 요청을 접수했다고 밝히며, 서비스에 어떤 일이 벌어지고 있는지를 설명하는 짧은 공지를 내놓았다. 요지는 대규모 자동화 트래픽, 즉 봇의 물결이 서비스를 반복적으로 강타하고 있으며, 이를 막기 위해 도입한 방어 장치가 때때로 실제 사람까지 차단하고 있다는 것이다.
웨이백 머신은 전 세계 웹페이지의 과거 모습을 시점별로 저장해 두는 비영리 아카이브다. 사라진 뉴스 기사, 삭제된 정부 문서, 변경 전 약관, 없어진 개발 문서 등을 확인할 때 사실상 대체재가 없는 인프라로, 연구자와 기자, 법률·감사 실무자, 그리고 개발자에게 일상적인 도구다. 그런 서비스가 접속 차단을 겪는다는 것은 단순한 불편을 넘어, 특정 시점의 웹 상태를 증거로 확보해야 하는 작업 흐름 자체가 끊긴다는 의미다.
429는 무엇을 뜻하는가
아카이브가 이번에 손본 것은 요청이 차단될 때 이용자에게 보여주는 안내 문구다. 해당 상황에서 서버는 HTTP 429 오류를 반환하는데, 이는 "요청이 너무 많다(too many requests)"는 뜻의 표준 응답 코드다. 웹 서버는 짧은 시간에 특정 출처에서 지나치게 많은 요청이 몰리면 서비스 전체를 보호하기 위해 해당 요청을 일시적으로 거절하는데, 이때 쓰이는 것이 바로 429다. 아카이브는 이 차단 메시지를 다시 작성했다고 밝혔다. 즉 오류 자체를 없앤 것이 아니라, 왜 막혔는지를 이용자가 이해할 수 있도록 안내 문구를 개선한 조치다.
문제의 핵심은 이런 방어(rate limiting) 장치가 봇과 사람을 완벽하게 구분하지 못한다는 점이다. 아카이브는 "이런 보호 장치가 때때로 실제 사람을 실수로 잡아낸다"고 인정하며 사과했고, 오류를 줄이기 위해 작업 중이니 인내를 부탁한다고 덧붙였다. 대량 트래픽을 걸러내는 규칙은 대개 IP 주소, 요청 빈도, 접속 패턴 같은 신호에 의존하는데, 공용 네트워크나 회사·기관의 공유 IP를 쓰는 정상 이용자가 봇과 같은 출처로 묶여 함께 차단되는 일이 벌어질 수 있다.
차단됐다면 무엇을 할 수 있나
아카이브는 "매일 웨이백 머신에 의존하는 사람들과 악성 봇을 점점 더 잘 구분해 가고 있다"고 밝혔다. 그러면서 만약 자신이 오류로 차단됐다고 판단되면 info@archive.org로 운영체제, 브라우저, IP 주소를 적어 이메일을 보내달라고 안내했다. 접수된 정보를 바탕으로 사안을 들여다보겠다는 것이다. 실무적으로 보면, 차단을 겪은 이용자가 이 세 가지 정보를 미리 정리해 두면 문의와 해결이 한결 빨라진다.
한국의 IT 실무자 관점에서 이 공지가 주는 시사점은 두 가지다. 첫째, 자동화 스크립트로 웨이백 머신에 대량 요청을 보내는 크롤링·수집 작업은 앞으로 더 쉽게 차단될 수 있으므로, 요청 간격을 두고 캐시를 활용하며 필요한 데이터만 최소한으로 받아 오는 신중한 접근이 필요하다. 둘째, 웨이백 머신을 증거 확보나 검증의 단일 창구로만 의존하는 것은 위험할 수 있다는 점이다. 중요한 스냅샷은 확인 시점에 별도로 저장해 두는 습관이 안전판이 된다.
다만 이번 발표에는 한계가 뚜렷하다. 아카이브는 트래픽 급증의 구체적 규모나 출처, 방어 장치의 작동 방식, 오류를 언제까지 얼마나 줄일 수 있을지에 대한 수치나 일정은 공개하지 않았다. 대량 봇 트래픽의 배경이 무엇인지—대규모 데이터 수집 수요 때문인지, 특정한 공격 때문인지—역시 이 공지만으로는 알 수 없다. 결국 지금 확인된 사실은 서비스가 방어 태세에 들어갔고, 그 과정에서 일부 정상 이용자가 피해를 보고 있으며, 개선이 진행 중이라는 것뿐이다. 웨이백 머신처럼 대체하기 어려운 공공 성격의 인프라가 트래픽 부하와 접근성 사이에서 균형을 맞추는 일이 얼마나 까다로운지를 보여주는 사례로 읽을 만하다.