지난달 말 미국 주요 언론사 관계자 300여 명이 의회를 찾아 '스텔스 봇 금지법(Stealth Bot Prohibition Act)' 지지를 호소했다. 이들의 불만에는 분명한 근거가 있다. 뉴스룸은 AI 개발사가 보내는 것으로 추정되는 자동화 트래픽의 급증에 시달리고 있다. AI 개발사는 온라인 콘텐츠를 대량으로 긁어간 뒤, 그 데이터로 학습한 생성형 AI 기능과 챗봇으로 원래 사이트가 받아야 할 방문 트래픽과 광고 수익을 가로챌 수 있다. 실재하는 문제이고 제대로 된 해법이 필요하다. 그러나 인터넷 아카이브 소속인 라일라 베일리와 테스 바르타니안은 이 법안이 남용적 크롤링이 일으키는 피해를 직접 겨냥하지 않는다고 지적한다. 법안은 대신 웹사이트에 자동으로 접근하는 모든 주체에게 자신의 신원과 정보 수집 목적을 밝히도록 강제한다. 기자를 보호하기는커녕, 기자들이 온라인에서 정보를 모을 때 의존하는 기본 도구를 위협한다는 것이다.
탐사보도의 토대가 된 자동 수집
수준 높은 탐사보도는 자동 데이터 수집에 기대고 있다. 2022년 퓰리처상을 받은 월스트리트저널 탐사보도는 고위 공직자 1만 2천 명의 재무 공개 자료 3만 1천여 건을 분석해, 연방 공직자의 약 4분의 1이 자신이 속한 기관이 규제하는 산업의 주식을 거래했다는 사실을 밝혀냈다. 이 규모의 조사를 가능하게 한 것이 바로 크롤러라 불리는 소프트웨어 봇이 인터넷을 돌며 정보를 수집하는 웹 스크래핑이었다. '은밀한 크롤링'을 겨냥한다고 내세우는 법안들은 사실상 보존, 저널리즘, 연구, 보안 같은 공익적 활동을 가로막을 수 있다.
물론 공격적이고 대규모인 스크래핑 자체는 실존하는 문제다. AI 학습용 콘텐츠 수요가 폭증하면서 이런 크롤링은 사이트에 과부하를 주고 비용을 높이며, 상업 출판사·위키피디아·도서관·인터넷 아카이브처럼 지식을 생산하고 보존하는 기관을 위협한다. 문제는 연방의 스텔스 봇 금지법과 뉴욕주의 스텔스 크롤러 금지법이 이 실질적 피해를 다루는 대신 익명 스크래핑 전반을 광범위하게 금지한다는 데 있다.
신원 공개가 피해를 줄이지는 않는다
두 법안 모두 봇을 '웹사이트나 인터넷 자료를 검색·스캔·색인·스크래핑하거나 그 밖의 방식으로 접근하는 소프트웨어'로 정의한다. 신원과 '봇의 구체적 성격과 목적'을 밝히지 않으면 '은밀한' 봇이 된다. 연방 법안에서는 사이트의 '기술적·상업적 운영'을 '손상·저해·부담시킬 합리적 가능성'이 있는 방식으로 스텔스 봇을 쓰면 FTC가 최대 5만 3천 달러의 벌금을 물릴 수 있다. 그러나 무엇이 사이트를 저해할 '합리적 가능성'인지에 대한 정의나 기준은 없다. 뉴스 사이트에만 적용되는 뉴욕 법안에서는 출판사가 아무런 피해 입증 없이도 소환장을 받아 크롤러의 신원을 벗겨낼 수 있다.
저자들의 핵심 논지는 크롤러 뒤에 누가 있는지를 아는 것이 그 행위가 유해한지를 거의 알려주지 못한다는 점이다. 뉴욕 법안대로라면, 신원을 밝히고 분당 1만 번씩 사이트에 접근해 막대한 비용을 떠안기는 기업은 합법이지만, 거대 기술기업의 반경쟁 행위를 익명으로 조사하는 기자는 위법이 된다. 크롤링의 가장 사회적 가치가 큰 쓰임새 상당수는 익명성을 전제로 한다. 조사 대상이 자신이 누구에게 관찰당하는지 알면 행동을 바꾸기 때문에, 익명으로 관찰하는 것 자체가 핵심인 것이다.
공익을 떠받치는 익명 크롤링
모든 자동 수집이 남용적이지도, 모두 AI 학습용도 아니다. 그러나 이 법안들은 책임 추궁을 두려워한 기록보존가·연구자·시민기술자들이 자동 수집 도구 사용을 꺼리게 만들 위험이 있다. 인터넷 아카이브의 웨이백 머신은 크롤러로 1조 건이 넘는 웹페이지를 보존해, 끊임없이 바뀌고 사라지는 인터넷의 역사적 기록을 남겼다. 이 기록은 수천 건의 뉴스와 수백 건의 소송에서 사실 근거이자 증거로 쓰였다. 장애 권익 단체는 100만 개 이상의 사이트를 스크래핑해 접근성 문제를 자동 점검했고, 공중보건 연구자는 오피오이드 유행과 중독·치료를 둘러싼 허위정보를 추적한다. 연방 정부조차 위협 탐지를 위해 크롤러를 돌린다. 공개 기업 공시나 위성영상 포털에서 자료를 모으는 환경 연구자처럼, 조사 대상 기업의 보복을 우려해 익명성이 작업의 안전과 무결성에 필수인 경우도 있다.
저자들은 이런 식별 의무가 수정헌법 제1조의 역사와도 충돌한다고 본다. 라몬트 대 체신장관 판결에서 연방대법원은 특정 정치 간행물을 받기 전에 수신자가 자신의 신원을 먼저 밝히도록 한 법을 위헌으로 무효화했다. 공개된 정보에 접근하는 조건으로 신원 공개를 요구하는 것은 '정보를 받을 자유'를 침해한다는 논리가 웹 크롤링에도 똑같이 적용된다는 것이다. 더구나 법 문언이 모호할수록 위축 효과는 커진다. 크롤러를 금지된 방식으로 '배치'한다는 것이 무엇인지, 어떤 활동이 사이트를 '부담시키거나 저해할 합리적 가능성'이 있는지 쉽게 파악할 수 없다면, 연구자는 위험을 감수하기보다 아예 스크래핑을 포기할 가능성이 크다.
익명성 자체를 죄로 보지 말 것
한국의 데이터 저널리스트나 보안·연구 종사자에게도 이 논쟁은 남의 일이 아니다. 핵심은 신원을 벗긴다고 피해가 줄지 않는다는 실무적 사실이다. 크롤러의 정체를 밝혀도 서버로 쏟아지는 요청 수가 줄지 않고, 콘텐츠로 AI 제품을 만든 데 대한 보상이 생기지도 않으며, 챗봇으로 빠져나간 방문 트래픽이 돌아오지도 않는다. 저자들은 오히려 기존 법으로 상당수 피해를 다룰 수 있다고 본다. 개인정보보호법은 민감정보 처리를 제한하고, 저작권법은 침해적 AI 산출물에 대응하며, 소비자보호법은 기만적 데이터 수집을 규율할 수 있다.
AI 크롤링에 특화된 문제는 기술 표준으로 풀 여지가 크다. 국제인터넷표준화기구(IETF) 같은 표준 단체는 기계의 콘텐츠 접근을 관리하는 새 프로토콜과, 선량한 크롤러의 행위를 익명으로 증명하는 메커니즘을 모색하고 있다. 저자들은 '좋은' 봇을 다치게 하고 '나쁜' 봇은 금세 우회할 법적·기술적 조치를 성급히 도입하기보다 이런 작업이 무르익도록 두어야 한다고 주장한다. 새 입법이 꼭 필요하다면, 책임은 서버를 과도한 요청으로 마비시키거나, 사기를 저지르거나, 금지된 용도로 데이터를 모으는 식의 '식별 가능한 피해를 낳는 행위'에 걸려야 한다는 것이다. 열린 웹은 모든 사이트 주인에게 먼저 허락을 구하거나 신원을 드러내지 않고도 공개 정보에 접근·분석·보존할 수 있는 능력에 기대어 있으며, 익명성 자체를 잘못으로 취급하는 순간 그 토대가 흔들린다는 것이 이 글의 경고다.