주요 인공지능(AI) 기업들이 웹사이트 콘텐츠의 AI 학습용 크롤링(scraping)을 거부할 수 있는 새로운 표준을 도입하기로 합의했습니다. 오픈AI(OpenAI), 구글(Google), 마이크로소프트(Microsoft), 앤트로픽(Anthropic) 등은 웹 퍼블리셔들이 개별 AI 회사에 일일이 요청할 필요 없이, 하나의 신호로 자신들의 콘텐츠가 AI 모델 학습에 사용되는 것을 막을 수 있도록 지원할 예정입니다. 이는 콘텐츠 제작자들이 자신들의 저작물에 대한 통제권을 강화하려는 움직임에 대한 AI 업계의 첫 번째 공동 대응으로 해석됩니다.
새로운 표준은 앤트로픽의 기술 리드인 케빈 켈리(Kevin Kelley)가 인터넷 엔지니어링 태스크 포스(IETF)의 일환으로 제안한 '정책 토큰(policy token)'을 활용합니다. 이 토큰은 웹사이트의 robots.txt 파일 내에 위치하게 되는데, robots.txt는 웹 크롤러가 사이트의 어떤 부분을 방문할 수 있고 없는지를 오랫동안 지시해 온 표준 파일입니다. 현재 웹사이트들은 AI 학습 관련 선호도를 각 AI 기업에 개별적으로 전달해야 하는 번거로움이 있었으나, 이 정책 토큰을 통해 여러 AI 크롤러에 일괄적으로 AI 학습 제외를 요청할 수 있게 됩니다. 앤트로픽은 이미 이 신호를 채택했으며, 구글과 마이크로소프트는 내년에, 오픈AI는 수개월 내에 이를 구현할 계획입니다.
이러한 변화는 AI 모델 학습에 웹 콘텐츠가 무단으로 사용되는 것에 대한 퍼블리셔들의 우려가 커지는 상황에서 중요한 의미를 가집니다. 많은 퍼블리셔들이 AI 크롤러의 증가로 인해 자신들의 콘텐츠가 동의 없이 활용되는 것에 대해 불만을 제기해 왔습니다. 이번 합의는 콘텐츠 제작자들에게 AI 학습 데이터 활용에 대한 더 큰 통제권을 부여하고, AI 기업들이 콘텐츠 저작권을 존중하는 방향으로 나아가고 있음을 보여줍니다. 또한, 마이크로소프트는 AI 학습(AI training)뿐만 아니라 AI 모델이 검증된 정보원을 참조하여 환각(hallucination)을 줄이는 과정인 AI 그라운딩(AI grounding)에서도 콘텐츠 사용을 거부할 수 있는 세분화된 제어 기능을 제공할 예정입니다. 이는 AI 시대에 콘텐츠의 가치와 저작권 보호가 더욱 중요해지고 있음을 시사합니다.