클라우드플레어(Cloudflare)가 인공지능(AI) 업계에 새로운 정책을 발표하며, 웹 크롤러를 전통적인 검색 목적과 AI 에이전트(agent) 및 학습 목적으로 분리하도록 요구했습니다. 2026년 9월 15일부터 클라우드플레어의 기본 설정은 광고를 포함하는 모든 페이지에서 '혼합 사용' 크롤러를 차단할 예정입니다. 이는 검색, AI 에이전트 사용, 학습을 혼합하는 크롤러가 사이트 소유자가 설정을 변경하지 않는 한 해당 사이트를 크롤링할 수 없게 된다는 의미입니다.
이번 변경 사항은 신규 클라우드플레어 고객, 기존 고객의 신규 사이트, 그리고 모든 기존 무료 고객에게 적용됩니다. 클라우드플레어는 대부분의 웹사이트 소유자가 검색 및 AI 서비스를 통해 콘텐츠가 발견되기를 원하지만, 동시에 지적 재산(IP)이 무단으로 사용되는 것을 막고 싶어 한다고 설명했습니다. 특히 구글(Google)과 같은 대형 검색 엔진이 다른 AI 기업보다 약 2배 더 많은 정보에 접근하고 있다고 지적하며, 구글이 검색에 AI 기능을 통합하면서 퍼블리셔들이 콘텐츠 사용에 대한 통제력을 잃고 있다고 비판했습니다. 클라우드플레어는 이미 '페이 퍼 크롤(Pay Per Crawl)'이라는 AI 봇 유료 스크래핑 마켓플레이스를 운영 중이며, 이를 '페이 퍼 유즈(Pay Per Use)'로 발전시켜 AI 기업이 콘텐츠로 가치를 창출할 때마다 퍼블리셔가 요금을 청구할 수 있도록 할 계획입니다. 초기 파트너로는 세라믹.ai(Ceramic.ai)와 유닷컴(You.com)이 참여하여, 퍼블리셔의 콘텐츠가 AI 검색 결과에 나타나거나 프리미엄 콘텐츠에 접근할 때 비용을 지불하게 됩니다.
이번 정책 변화는 AI 모델 제공업체가 학습 목적이나 에이전트 서비스에 웹 콘텐츠를 접근하는 방식에 큰 영향을 미칠 수 있습니다. 클라우드플레어의 공동 창립자이자 CEO인 매튜 프린스(Matthew Prince)는 최근 봇 트래픽이 처음으로 사람 트래픽을 넘어섰다며, 지속 가능한 웹 생태계를 위해 더 빠르고 적극적인 조치가 필요하다고 강조했습니다. 이로 인해 퍼블리셔는 자신의 콘텐츠에 대한 가시성과 상업적 기회를 확대할 수 있으며, AI 기업은 투명한 의도를 가진 봇을 통해 콘텐츠에 접근할 수 있게 됩니다. 또한, AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용된다는 클라우드플레어의 데이터에 비추어 볼 때, 이번 변화는 퍼블리셔의 대역폭(bandwidth) 및 컴퓨팅 자원 절약에도 기여할 것으로 예상됩니다.