클라우드플레어, AI 봇을 '검색·에이전트·학습'으로 세분화한다

클라우드플레어가 두 번째 '콘텐츠 독립기념일(Content Independence Day)'을 맞아 AI 트래픽 관리 방식을 대폭 손질했다. 지난해에는 학습용 크롤러를 한 번에 차단하는 'Block AI Bots' 옵션과 크롤링 대가를 주고받는 Pay-Per-Crawl 마켓플레이스를 내놓았지만, 이번에는 모든 것을 막거나 여는 이분법에서 벗어나 봇의 행위를 기준으로 접근을 조율할 수 있게 했다. 핵심은 AI 봇을 검색(Search), 에이전트(Agent), 학습(Training)이라는 세 가지 용도로 구분하고, 광고로 수익을 내는 페이지를 별도로 보호하는 기능을 추가한 것이다. 이 세 가지 옵션은 무료 요금제를 포함한 모든 고객에게 제공된다.

왜 '차단이냐 허용이냐'를 넘어섰나

지난해 논의는 대가 없이 콘텐츠가 모델 학습에 쓰이는 불공정한 구조를 겨냥했다. 그러나 시간이 지나며 더 세밀한 통제에 대한 요구가 커졌다. 특히 규모가 작은 사이트에게는 '학습에 쓰이는 것'보다 '아예 발견되지 않는 것'이 더 큰 문제다. 검색에 노출되려면 AI 학습도 감수해야 하는 딜레마에 빠지는데, 검색과 학습에 같은 봇을 쓰는 기존 검색 사업자에게는 이 구조가 오히려 유리하게 작용한다. 게다가 구글 검색이 결과를 정리해 보여주는 단계를 넘어 질문에 직접 답하는 '답변 엔진'으로 바뀌면서, 무엇이 'AI'인지 선을 긋는 일 자체가 무의미해지고 있다. 클라우드플레어가 봇을 'AI인지 아닌지'로 나누는 대신 '사이트에서 무엇을 하는가, 무엇을 저장하는가, 콘텐츠를 어떻게 재공유하는가'를 묻겠다고 밝힌 배경이다.

9월 15일부터 바뀌는 기본값

2026년 9월 15일부터 클라우드플레어에 새로 등록되는 도메인에는 새로운 기본값이 적용된다. 광고가 표시되는 페이지에서는 학습과 에이전트 봇이 기본 차단되고, 방문자를 다시 유입시키는 검색은 기본 허용된다. 광고가 붙은 페이지는 사람이 직접 방문해 보길 의도한 수익 지점이므로, 그 주목도를 해칠 수 있는 봇을 막고 사람의 관심을 목적으로 둔다는 논리다. 또 하나 중요한 변화는 여러 용도를 겸하는 크롤러의 처리 방식이다. 검색과 학습을 함께 수행하는 봇은 모든 행위 기준으로 판정되며, 가장 제한적인 규칙이 우선 적용된다. 따라서 학습 차단을 선택한 고객에게는 구글봇, 애플봇, 빙봇처럼 검색과 학습을 겸하는 크롤러도 함께 막힌다. 다만 이 기본값이 마음에 들지 않는 사이트 운영자는 9월 15일 이전에 보안 설정에서 언제든 예외로 지정할 수 있고, 클라우드플레어는 시행일까지 변경 사실을 지속적으로 안내하겠다고 밝혔다.

봇을 들여다보는 도구, BotBase

엔터프라이즈 봇 관리 고객에게는 BotBase라는 새로운 가시성 기능이 제공된다. 검증된 봇과 에이전트를 포함해 클라우드플레어가 추적하는 모든 봇을 대시보드에서 검색·조회할 수 있는 데이터베이스로, 각 봇이 새 분류 체계에서 어디에 속하는지 확인하고 특정 봇의 트래픽만 필터링하거나 탐지 ID를 복사해 보안 규칙에 활용할 수 있다. 이 분류 체계는 행위 기반으로 설계됐다. 검색 노출을 위한 크롤링, 사람을 대신해 페이지를 방문하는 에이전트뿐 아니라 가격 스크래핑·경쟁 정보 수집·분석 같은 데이터 수집, 취약점 스캔과 침투 테스트 같은 보안, SEO·사이트 감사·접근성 점검, 광고 검증, 링크 미리보기, RSS·팟캐스트·뉴스 피드 수집, 가동 시간 모니터링과 웹훅·헬스체크 등이 포함되며, 하나의 봇이 여러 행위로 분류될 수 있다.

또 하나의 축은 '콘텐츠 활용', 즉 봇이 크롤링 이후 무엇을 보관하고 재공유하는가다. 봇 관리 고객은 이를 세 단계로 설정해 차단 기준으로 삼을 수 있고, 분류와 조합하면 '검색·SEO·광고 검증용 봇은 허용하되 참조(reference) 수준까지만'과 같은 규칙을 봇 하나하나가 아니라 묶음 단위로 표현할 수 있다. 이를 뒷받침하기 위해 robots.txt에 담기는 Content Signals에 네 번째 선택 항목인 'use' 신호가 추가된다. 관리형 robots.txt를 이미 켠 고객에게는 use=reference 값이 함께 붙는데, 다른 robots.txt 항목처럼 이 값은 직접 차단이 아니라 운영자의 선호를 표시하는 신호에 그친다.

'검증됨'의 의미도 달라진다

주목할 점은 'Verified(검증됨)' 개념의 재정의다. 지금까지 검증된 봇은 기본 허용으로 간주됐지만, 앞으로는 검증 여부가 곧 허용을 뜻하지 않는다. 검증된 봇은 자신이 속한 카테고리를 통해서만 허용될 수 있어, 예컨대 검색을 허용한 사이트에서는 검색 행위만 통과한다. 비검증 봇이 기본 차단되는 점은 그대로다. 대신 검증 절차는 더 개방적이고 투명해진다. 봇 운영자는 자신을 정직하게 표현하고 그렇게 얻은 접근 권한을 남용하지 않는다는 두 가지를 입증하면 되며, 신호를 악용하거나 콘텐츠를 통째로 복제하는 봇은 검증 지위를 잃는다. 클라우드플레어는 운영자가 자신의 분류를 정확히 관리할 수 있는 도구도 준비 중이라고 밝혔다.

실무자 관점에서 이번 발표의 함의는 분명하다. AI 트래픽 대응이 '전면 차단' 스위치에서 용도별 정책 설계로 옮겨간다는 점이다. 특히 검색과 학습을 겸하는 대형 크롤러가 학습 차단 규칙에 함께 걸릴 수 있으므로, 검색 노출을 유지하려는 사이트는 9월 15일 이전에 기본값을 검토하고 필요한 예외를 명시해 두는 편이 안전하다. 다만 한계도 있다. robots.txt의 use 신호는 강제력이 없는 선호 표시일 뿐이고, 콘텐츠 활용 기반 차단이나 운영자용 관리 도구 등 상당 부분은 아직 테스트 또는 예고 단계다. 게다가 문 앞의 봇이 그것을 만든 회사가 아니라 개발자 플랫폼 위에서 수천 명의 서로 다른 운영자를 대신해 움직이는 시대라는 점에서, 특정 도구를 신뢰한다고 해서 그것을 사용하는 모든 주체를 신뢰할 수 있는 것은 아니라는 문제도 남는다.