최근 한 블로그 운영자가 자신의 가상 사설 서버(VPS)를 인터넷 봇으로부터 보호하기 위한 독특하고 공세적인 방어 전략을 공개했습니다. 자동 스캐너, 스크레이퍼, 스패머 등 악성 봇들이 웹사이트 자원을 낭비하고 데이터를 무단 수집하는 것에 맞서, 허니팟(honeypot), 타르핏(tarpit), 가짜 콘텐츠 등을 활용해 봇의 활동을 방해하고 자원을 소모시키는 '공세적 인터넷 태세'를 취하고 있습니다.
이 전략의 핵심은 봇의 유형에 따라 다른 응답을 제공하고, 가짜 정보를 주입하여 봇의 시간과 자원을 낭비시키는 것입니다. 예를 들어, 가짜 워드프레스(WordPress) 로그인 페이지는 인증 거부를 5초 지연시켜 봇의 시도를 늦추고, SSH 포트 22번에는 'endlessh'라는 타르핏을 실행하여 봇을 무한정 붙잡아 둡니다. 메타(Meta)의 크롤러에게는 HTTP 403 오류를 반환하고, xAI, 클로드(Claude), GPTbot 등 인공지능(AI) 크롤러에게는 200만 개가 넘는 가짜 웹페이지로 구성된 '무한 가짜 웹사이트'로 리디렉션하여 의미 없는 데이터를 수집하게 만듭니다. 또한, robots.txt 파일에 긴 지연 설정을 포함하거나, 블로그 푸터에 프롬프트 인젝션(prompt injection)을 시도하여 일부 대규모 언어모델(LLM)의 출력을 오염시키려는 시도도 포함됩니다.
이러한 공세적 방어 전략은 점차 심화되는 봇 트래픽 문제에 대한 개인 웹사이트 운영자들의 고충을 보여줍니다. 특히 AI 학습 데이터 수집을 위한 크롤러의 증가는 서버 자원 소모와 데이터 무단 활용이라는 새로운 문제를 야기하고 있습니다. 이 운영자는 인터넷 시스템의 10% 이상이 이처럼 다양한 방식으로 봇에 맞선다면, 대규모 기업조차 수백 가지 방해책을 처리하기 어려워지고 개인 단위의 봇 운영은 사실상 불가능해질 것이라고 주장합니다. 이는 개별 웹사이트 운영자들이 단순히 방어적인 자세를 넘어, 적극적으로 봇의 활동을 교란하고 비효율적으로 만드는 방식으로 웹 생태계를 보호하려는 움직임의 일환으로 해석될 수 있습니다.