주요 인공지능(AI) 모델과 검색 엔진을 구동하는 28종의 AI 크롤러에 대한 상세 디렉토리가 공개되어 웹사이트 운영자들의 이목을 끌고 있습니다. 이 디렉토리는 챗GPT(ChatGPT), 클로드(Claude), 퍼플렉시티(Perplexity), 제미니(Gemini) 등 거대 언어모델(LLM)의 학습 데이터셋을 수집하거나 실시간 검색 결과를 제공하는 다양한 봇들의 정보를 담고 있습니다. 웹사이트 소유자들은 이 정보를 통해 자신의 콘텐츠가 AI 학습에 어떻게 활용되는지 이해하고, robots.txt 파일을 활용하여 봇의 접근을 제어할 수 있게 됩니다.
공개된 디렉토리에는 오픈AI(OpenAI)의 GPTBot(학습용)과 OAI-SearchBot(검색용), 앤트로픽(Anthropic)의 ClaudeBot(학습용)과 Claude-User(사용자 요청 검색용), 구글(Google)의 Google-Extended(제미니 및 버텍스 AI 학습용) 등이 포함되어 있습니다. 각 봇 프로필은 해당 봇의 기능, robots.txt 준수 여부(준수, 부분 준수, 무시, 불명), 그리고 복사하여 붙여넣기 가능한 허용/차단 규칙을 명시하고 있습니다. 특히, 퍼플렉시티의 Perplexity-User나 바이트댄스(ByteDance)의 Bytespider처럼 robots.txt를 무시하는 봇들도 있어 웹마스터들의 주의가 필요합니다.
이러한 AI 크롤러 디렉토리의 등장은 웹 콘텐츠 소유자들이 AI 시대에 자신의 디지털 자산을 어떻게 보호하고 관리할 것인지에 대한 중요한 질문을 던집니다. AI 모델 학습에 콘텐츠가 무단으로 사용되는 것에 대한 우려가 커지는 가운데, 이 정보는 웹사이트 운영자들이 명확한 정책을 수립하고 실행하는 데 필수적인 도구가 될 것입니다. 또한, robots.txt 생성기나 AI 봇 로그 분석기와 같은 관련 도구들을 활용하여 실제 봇 방문 현황을 파악하고 맞춤형 규칙을 적용함으로써 콘텐츠 통제권을 강화할 수 있습니다. 이는 AI 기술 발전과 함께 콘텐츠 저작권 및 사용 정책에 대한 논의를 더욱 활발하게 만들 것으로 예상됩니다.