웹사이트 운영자들은 오랫동안 불편한 선택을 강요받아 왔다. 콘텐츠가 AI 학습에 쓰이는 것을 허용하거나, 아니면 검색 노출을 포기하거나 둘 중 하나였다. 이런 딜레마의 뿌리에는 '혼합용도(mixed-use) 크롤러'가 있다. 애플, 구글, 마이크로소프트 같은 대형 사업자들은 하나의 크롤러로 검색 색인과 AI 학습 데이터 수집을 동시에 처리한다. 그래서 학습을 거부하려고 크롤러를 차단하면 검색 색인까지 함께 사라졌다. 클라우드플레어가 이번에 내놓은 'AI 학습 불허(Disallow AI Training)' 설정은 바로 이 지점을 겨냥한다. 같은 크롤러의 검색 접근은 유지하면서 학습 목적의 수집만 거부할 수 있게 한 것이다.
'Accountable' 지정과 사업자 합의
핵심은 단순한 기술 기능이 아니라 크롤러 사업자와의 합의다. 클라우드플레어는 7월부터 주요 사업자들과 직접 대화해 왔고, 대다수가 사이트 운영자에게 콘텐츠 사용에 대한 통제권과 투명성을 보장해야 한다는 데 동의했다고 밝혔다. 이를 바탕으로 클라우드플레어는 현재 제공 중인 기능과 기한을 명시한 약속을 함께 충족하는 사업자에게 'Accountable(책임 있는)' 지정을 부여한다. 애플봇, 빙봇, 구글봇이 이 조건을 충족하며, 아마존·앤스로픽·메타·오픈AI의 크롤러도 검색용과 학습용을 분리 운영하기 때문에 학습 크롤러만 차단할 수 있어 함께 분류됐다.
왜 robots.txt만으로는 부족한가라는 질문이 자연스럽게 따른다. robots.txt는 누구나 게시할 수 있지만, 누가 크롤링하는지 식별하지 못하고, 그 목적을 판별하지도 못하며, 규칙을 무시하는 크롤러를 막지도 못한다. 반면 네트워크 사업자는 선호를 게시하고, 크롤러의 정체와 목적을 분류하며, 이를 무시하는 크롤러를 차단한 뒤 각 사업자의 실제 행동을 클라우드플레어 레이더(Radar)에 공개할 수 있다. '학습 불허' 설정 자체는 robots.txt의 Disallow 지시문으로 게시되지만, 이를 뒷받침하는 것은 네트워크 차원의 식별과 집행이다.
실무자가 알아야 할 변화
수치는 왜 세분화된 통제가 필요한지를 보여준다. 클라우드플레어 사이트 중 검색 봇을 차단하는 곳은 1% 미만인 반면, 학습을 막는 어떤 장치라도 켠 곳은 17%에 달한다. 검색은 거의 모두가 원하지만 학습은 다르다는 뜻이다. 이번 개편으로 기존에는 검색 노출 훼손 우려 때문에 혼합용도 크롤러에 적용되지 않던 'Block'과 '광고 페이지에서 차단' 옵션이 모든 학습 크롤러에 적용된다. 다만 혼합용도 크롤러를 완전히 없애고 싶다면 이제 명시적으로 'Block'을 선택해야 하며, 이 경우 애플봇·빙봇·구글봇이 검색을 포함해 사이트에 아예 접근하지 못한다.
기존 고객은 대부분 별도 조치 없이 현재 설정이 그대로 이어진다. 세분화 통제를 쓰지 않던 도메인은 기존 'Block AI Bots' 값에 따라 자동 이관되고, 이미 학습 차단이나 광고 페이지 차단을 설정했던 곳은 '학습 불허'로 옮겨진다. 9월 15일부터 신규 도메인 온보딩 시에는 광고 수익 여부에 따라 두 가지 프리셋 중 하나가 제안된다. 광고 매출은 사람이 실제로 페이지를 봐야 발생하는데, 학습은 그 방문을 답변으로 대체하고 에이전트는 아무도 보지 않는 상태로 페이지를 가져가므로, 광고 기반 사이트에는 더 제한적인 설정이 기본으로 적용된다.
사업자별 이행 수준에는 차이가 있다는 점도 실무상 중요하다. 애플봇은 'Applebot-Extended'에 대한 Disallow로 학습 거부를 지원하고, 구글봇은 'Google-Extended'와 웹마스터 포털 토글을 제공한다. 두 회사 모두 학습 거부가 검색 순위에 영향을 주지 않는다고 밝혔다. 반면 빙봇은 현재 NOARCHIVE 메타 태그로만 학습 선호를 표현할 수 있고, robots.txt를 통한 사이트 단위 '학습 금지'는 2027년 초를 목표로 개발 중이다. 그 전까지 '학습 불허'를 선택해도 빙에는 robots.txt로 자동 전달되지 않으므로, 오늘 빙에서 학습을 빼려면 NOARCHIVE 태그나 URL 차단·콘텐츠 제거 도구를 병행해야 한다.
AI 요약이라는 다음 과제
혼합용도 크롤러가 어려운 문제였다면, 다음은 AI 요약이다. 사이트 전체에 대한 예/아니오 선택은 지나치게 무딘 도구다. 콘텐츠가 요약에 포함되느냐만큼 얼마나 포함되느냐도 중요하기 때문이다. 클라우드플레어는 내년 초를 목표로 사업자마다 따로 설정하는 대신 클라우드플레어에서 한 번에 콘텐츠 포함 정도를 조절할 수 있게 하겠다는 계획을 내놨다. 데이터는 요약의 양면성을 드러낸다. 소비자 절반 이상이 검색에서 요약을 읽고, 이들은 요약을 본 뒤 검색을 끝낼 확률이 40% 이상 높아 방문 수를 줄인다. 그러나 AI 검색을 통해 유입된 방문자의 전환율은 전통 검색 유입 대비 3배에서 5배 이상 높았다. 방문은 줄지만 의도가 뚜렷한 고객이 온다는 의미다.
결국 이 변화의 성격은 좋고 나쁨으로 단정하기 어렵다. 광고로 운영되는 매체는 방문량을 중시하고, 유통업체는 구매 가능성이 높은 소수 방문자를 선호할 수 있다. 클라우드플레어는 이 판단을 대신 내리는 대신, 판단에 필요한 가시성과 통제권을 제공하겠다는 입장이다. 요약 옵트아웃은 시작일 뿐이며, ai-prefs 같은 개방형 표준과 IETF 같은 표준화 기구의 협업이 뒷받침되어야 실질적인 상호운용이 가능해진다. 한국의 사이트 운영자 입장에서도 검색 노출과 콘텐츠 보호를 분리해 관리할 여지가 생긴 것은 분명하지만, 빙의 robots.txt 미지원처럼 사업자별 시차가 남아 있어 단일 설정만으로 모든 경로를 통제한다고 가정해서는 안 된다.