개인 맞춤형 피드 리더 서비스인 스프링클즈(sprinklz.io)가 최근 해커 뉴스(Hacker News)에 소개된 후 예상치 못한 문제에 직면했습니다. 서비스가 인기를 얻으며 트래픽이 급증했지만, 대부분은 실제 사용자가 아닌 AI 봇에서 발생한 것으로 드러났습니다. 이로 인해 서버가 심하게 느려지고 며칠 동안 과부하가 지속되는 등 서비스 운영에 큰 차질을 빚었습니다.
스프링클즈는 사용자가 뉴스 피드에서 특정 주제의 우선순위를 낮추거나 필터링할 수 있는 무료 서비스입니다. 해커 뉴스에 소개되자 LLM(대규모 언어모델) 소식에 지친 사용자들로부터 좋은 반응을 얻으며 약 100개의 추천을 받았습니다. 그러나 이후 사이트 지연이 심해지고 악화되자 개발사는 로그 분석에 착수했습니다. 그 결과, 전체 트래픽의 거의 절반이 웹사이트 변경 사항을 감지해 AI 뉴스레터로 요약하는 특정 서비스에서 발생했으며, 이 외에도 클로드 봇(Claude bot), 오픈AI 봇(OpenAI bot), 취약점 스캐너 등 다양한 봇들이 끊임없이 요청을 보내고 있음을 확인했습니다. 이 봇들은 뉴스 조회 API를 호출하거나 페이지 렌더링에 필요한 자바스크립트(JavaScript)를 실행하지도 않는, 불필요한 요청을 반복했습니다.
개발사는 즉시 해당 AI 뉴스레터 서비스를 차단하고, robots.txt 파일을 추가해 대부분의 AI 스캐너에 크롤링 자제를 요청했습니다. 구글 봇(Google bot)과 같은 검색 관련 봇은 허용하되, 적절한 요청 빈도 제한(rate limiting)을 적용했습니다. 무엇보다 중요한 대응 과제로 사이트 자체의 성능과 확장성 개선을 꼽고, 높은 부하에서도 실제 사용자 요청을 더 잘 처리할 수 있도록 인프라를 여러 차례 개선했습니다. 이번 사례는 AI 시대에 웹 서비스를 운영하는 개발자들이 직면하게 될 새로운 도전 과제를 명확히 보여주며, 봇 트래픽 관리가 서비스 안정성과 비용 효율성에 얼마나 중요한지 일깨워줍니다.