최근 150만 페이지 규모의 웹사이트 운영자가 AI 스크래퍼(scraper) 봇과의 1년간의 힘겨운 싸움을 공개하며, 무분별한 봇 트래픽이 웹사이트 운영에 미치는 심각한 영향을 고발했습니다. 이 운영자는 서버 비용 급증과 사용자 경험 저하 문제에 직면했으며, 이는 비단 한 개인의 문제가 아닌 오늘날 많은 웹사이트 운영자들이 겪는 공통된 어려움으로 부상하고 있습니다.
이러한 봇 트래픽의 상당수는 대규모 언어모델(LLM) 학습 및 검색 엔진 최적화(SEO)를 위한 데이터 수집을 목적으로 합니다. 특히 앤트로픽(Anthropic)의 클로드 서치봇(Claude-SearchBot)과 같은 AI 봇들은 짧은 시간 안에 수십만 페이지를 가져가면서도 실제 사용자 유입은 극히 미미한 수준에 그쳐, 웹사이트 운영자들에게는 막대한 비용 부담만 안기고 있습니다. 심지어 일부 봇은 이미 수집한 페이지를 불필요하게 반복해서 재수집하는 비효율적인 행동을 보이기도 합니다. 이에 대응하기 위해 클라우드플레어(Cloudflare) 같은 웹 보안 서비스를 활용하지만, 이마저도 실제 사용자를 오인 차단하거나 비용 상한 및 알림 부재로 인해 예상치 못한 지출을 발생시키는 문제가 지적되고 있습니다.
이러한 상황은 소규모 웹사이트나 취미 프로젝트 운영자들에게 특히 치명적입니다. 수입 없이 자원 사용량만 급증하면서, 결국 많은 이들이 사이트 운영을 포기하는 지경에 이르고 있습니다. 웹사이트 운영자들은 봇 트래픽을 줄이기 위해 IP 대역 차단, 캡차(CAPTCHA) 적용, 작업 증명(Proof-of-Work) 방식 도입 등 다양한 시도를 하고 있습니다. 아누비스(Anubis)와 같은 대안 솔루션도 등장했지만, 이는 아직 틈새 기술로 평가되며 AI 수집기들이 본격적으로 우회할 필요를 느끼지 못했을 뿐이라는 한계도 있습니다.
결국 이 문제는 열린 웹(open web)의 지속 가능성과 직결됩니다. 정보를 자유롭게 공유하고 접근하는 웹의 본질이 무분별한 봇 트래픽과 그로 인한 비용 부담으로 위협받고 있는 것입니다. 구글(Google)과 같은 주요 검색 엔진들이 더 이상 사이트로 충분한 트래픽을 보내지 않고, 중요한 사이트만 색인하는 경향을 보이면서, 소규모 웹사이트들은 더욱 고립될 위험에 처했습니다. 이는 웹 생태계의 다양성을 해치고, 정보의 중앙 집중화를 가속화할 수 있다는 점에서 심각한 문제입니다. P2P 네트워크를 활용한 분산형 웹 아카이브(Wayback Machine)와 같은 근본적인 해결책에 대한 논의도 필요해 보입니다.