최근 한 개발자가 자신이 만든 맞춤형 피드 리더 서비스인 '스프링클즈(sprinklz.io)'를 해커 뉴스(Hacker News)에 공유한 후, 예상치 못한 문제에 직면했습니다. 초기에는 사용자들의 긍정적인 반응과 함께 트래픽이 증가하는 것을 기뻐했지만, 곧 웹사이트가 비정상적으로 느려지는 현상이 발생했습니다. 이는 단순한 방문자 증가 때문이 아니라, 대량의 AI 봇 트래픽 때문인 것으로 밝혀져 많은 웹 개발자들에게 경각심을 주고 있습니다.
개발자는 웹사이트의 부하가 지속되고 심화되자 상세한 로그 분석에 착수했습니다. 그 결과, 전체 요청의 상당수가 실제 뉴스 기사를 가져오려는 시도조차 하지 않고, 자바스크립트(JavaScript) 실행 없이 페이지를 렌더링하려는 요청임을 확인했습니다. NGINX 로그를 분석한 결과, 전체 트래픽의 거의 절반이 특정 AI 뉴스 요약 서비스 봇에서 발생하고 있었으며, 이 봇은 웹사이트의 변경 사항을 감지하고 요약하기 위해 분당 수십 번씩 웹사이트를 쿼리하고 있었습니다. 이 외에도 클로드 봇(Claude bot), 오픈AI 봇(OpenAI bot), 구글 검색 인덱서(Google's search indexer) 등 다양한 AI 크롤러와 취약점 스캐너들이 트래픽을 유발했습니다.
이러한 상황에 대응하기 위해 개발자는 해당 AI 뉴스 요약 서비스 봇을 차단하고, 로봇 배제 표준(robots.txt) 파일을 설정하여 대부분의 AI 스캐너의 접근을 제한했습니다. 다만, 구글 봇(Google-bot)과 같은 검색 관련 트래픽은 허용했습니다. 또한, 합리적인 속도 제한(rate limits)을 적용하고 웹사이트의 근본적인 인프라 개선 작업을 진행하여, 향후 더 많은 실제 사용자 트래픽을 안정적으로 처리할 수 있도록 성능을 강화했습니다. 이번 사례는 AI 시대에 웹사이트 운영자들이 새로운 종류의 트래픽 관리 문제에 직면하고 있음을 명확히 보여줍니다.