클라우드플레어(Cloudflare)가 웹사이트 소유자가 AI 봇 트래픽을 보다 정교하게 관리할 수 있는 새로운 옵션을 공개했습니다. 이제 모든 요금제 고객은 자동화 트래픽을 검색(Search), 에이전트(Agent), 학습(Training) 세 가지 카테고리로 나누어 허용하거나 차단할 수 있게 됩니다. 이는 단순히 AI 봇을 일괄 차단하는 것을 넘어, 봇이 사이트에서 수행하는 행동과 콘텐츠 사용 목적에 따라 접근 권한을 설정할 수 있도록 지원하는 중요한 변화입니다.
이번 업데이트의 핵심은 AI 트래픽을 세분화하여 제어하는 것입니다. '검색(Search)'은 콘텐츠를 수집하고 색인하여 검색 유입을 유도하는 목적으로, 사이트 소유자는 추천 트래픽이나 보상을 기대할 수 있습니다. '에이전트(Agent)'는 사람을 대신해 실시간 작업을 수행하는 봇을 의미하며, 챗GPT(ChatGPT) 같은 채팅 수집 봇이나 브라우저 에이전트가 포함됩니다. 마지막으로 '학습(Training)'은 콘텐츠를 가져가 AI 모델을 학습하거나 미세조정하는 용도로, 데이터가 AI 기반 구조에 영구적으로 흡수되는 경우입니다. 클라우드플레어는 2026년 9월 15일부터 신규 도메인의 광고 표시 페이지에서는 학습 및 에이전트 트래픽을 기본 차단하고 검색 트래픽만 허용하는 새로운 기본값을 적용할 예정입니다. 또한, 구글봇(Googlebot), 애플봇(Applebot), 빙봇(BingBot)과 같은 다목적 크롤러에는 가장 제한적인 규칙이 우선 적용되어, 학습 차단을 선택한 고객의 경우 이들 봇도 차단될 수 있습니다.
이러한 변화는 웹 콘텐츠 생태계의 근본적인 문제의식에서 출발합니다. 과거 웹 크롤링은 콘텐츠를 수집하는 대신 검색 유입을 통해 사이트에 가치를 돌려주는 상호 보완적인 관계였지만, AI 학습은 콘텐츠를 가져가면서도 사이트 소유자에게 직접적인 가치를 돌려주지 않는다는 비판이 많았습니다. 클라우드플레어는 1년 전 'AI 봇 차단(Block AI Bots)' 옵션과 '크롤링별 과금(Pay-Per-Crawl)' 마켓플레이스를 출시하며 이 문제에 대응해왔습니다. 이번 용도별 제어 기능은 콘텐츠 소유자가 자신의 원본을 보호하고 적절한 보상을 받을 수 있도록 더 강력한 도구를 제공하며, 소규모 사이트가 검색 노출과 AI 학습 허용 사이에서 겪는 딜레마를 해소하는 데 기여할 것으로 기대됩니다. 이는 또한 검색과 학습에 동일한 봇을 사용하는 기존 검색 사업자에게 유리했던 구조를 개선하고, 새로운 AI 사업자들이 투명하게 목적을 밝히고 경쟁할 수 있는 환경을 조성하는 데 중요한 역할을 할 것입니다.