AI 크롤러가 웹페이지를 대량으로 수집하면서도 원문 사이트로의 사용자 유입은 거의 없어, 콘텐츠 생산 기업들이 심각한 트래픽 및 수익 손실을 겪고 있습니다. 클라우드플레어(Cloudflare)의 데이터에 따르면, 앤트로픽(Anthropic)의 크롤러는 약 3만 8천 번의 수집 요청 중 단 1회만 원문 방문으로 이어졌고, 오픈AI(OpenAI) 역시 1,091회당 1회에 불과했습니다. 이는 지난 20년간 검색 엔진이 콘텐츠 제공자에게 트래픽을 돌려주던 상호 교환 관계가 AI 시대에는 더 이상 유효하지 않음을 보여줍니다. 이로 인해 콘텐츠 기업들은 AI 크롤러에 대한 대응 방식을 놓고 크게 세 가지 갈림길에 서 있습니다.
첫 번째는 콘텐츠 접근을 차단하는 방식입니다. 많은 기업이 robots.txt 파일을 통해 AI 크롤러의 접근을 막고 있으며, 클라우드플레어는 2025년 7월부터 신규 도메인에 대해 AI 학습용 크롤러를 기본 차단하고, 100만 곳 이상의 고객이 이미 원클릭 차단 기능을 사용하고 있습니다. 또한, 클라우드플레어는 크롤링 횟수나 실제 이용 결과에 따라 보상하는 '페이 퍼 크롤(Pay per Crawl)' 또는 '페이 퍼 유즈(Pay per Use)'와 같은 정산 모델을 실험 중입니다. 두 번째는 AI 기업과 직접 계약을 통해 콘텐츠 사용료를 받는 방식입니다. 뉴스코프(News Corp)는 오픈AI와 5년간 2억 5천만 달러 이상의 계약을 맺었고, 레딧(Reddit)은 구글(Google)과 연간 약 6천만 달러 규모의 계약을 체결한 것으로 알려졌습니다. 국내에서는 네이버(Naver)가 학습용 봇을 차단하는 반면, 다음(Daum)은 언론사 뉴스 도메인에 AI 크롤러 차단 조치를 하지 않아 포털의 책임 범위에 대한 논쟁이 불거지기도 했습니다.
세 번째는 AI를 새로운 고객 접점으로 활용하기 위해 자사 정보를 적극적으로 개방하는 전략입니다. 콘텐츠 자체가 상품이 아니라 다른 상품이나 서비스의 입구가 되는 기업들이 주로 이 방식을 택합니다. 예를 들어, 데이터테크 기업 빅밸류(BigValue)는 사업자·상권 데이터를 AI가 읽을 수 있는 형태로 개방했으며, CJ온스타일은 60만 개 상품 정보를 AI에 최적화하여 챗GPT(ChatGPT) 및 제미나이(Gemini)를 통한 유입이 4개월 만에 4배 이상 증가했다고 발표했습니다. 전자상거래 플랫폼 카페24(Cafe24)의 분석에 따르면, 생성형 AI를 통한 쇼핑몰 방문은 1년 새 72% 증가했고 구매 전환율도 0.50%에서 0.85%로 상승했습니다. 이처럼 AI 답변에 자사 정보가 인용되도록 콘텐츠를 최적화하는 생성형 엔진 최적화(GEO)는 데이터 및 커머스 기업들에게 광고비 없는 새로운 유통 채널로 인식되고 있습니다.
이러한 기업들의 선택은 AI 답변의 품질에도 영향을 미칩니다. 신뢰도 높은 뉴스 사이트의 60%가 AI 크롤러를 차단한 반면, 오정보 사이트는 9.1%만 차단했다는 연구 결과는 시사하는 바가 큽니다. 검증된 매체들이 학습용 크롤러뿐 아니라 검색·답변 생성용 크롤러까지 차단할 경우, AI는 접근이 허용된 정보에 더 크게 의존하게 되어 장기적으로 AI 답변의 평균 품질이 저하될 수 있다는 역설적인 상황이 발생할 수 있습니다. AI 크롤러의 이용 결과에 따른 합리적인 보상 체계가 정립되기 전까지, 콘텐츠 기업들의 이러한 대응 전략은 계속해서 진화하고 논쟁의 중심에 설 것으로 보입니다.