미국의 유명 시사 주간지 TIME(타임)이 인공지능(AI) 크롤러에게는 사람에게 보여주는 것과 완전히 다른 버전의 웹사이트를 제공하고 있으며, 심지어 AI 봇 전용 페이지에 광고를 삽입하고 있는 것으로 드러났습니다. 이는 웹사이트 방문자의 절반 이상이 AI 봇 트래픽이 되는 시대에, 미디어 기업들이 AI를 대상으로 한 새로운 수익 모델을 모색하고 있음을 보여주는 중요한 변화입니다.
기술 블로거 빈센트 슈말바흐(Vincent Schmalbach)의 분석에 따르면, TIME은 사용자 에이전트(User-Agent) 헤더를 통해 접속 주체가 사람인지 AI 봇인지 식별합니다. 크롬(Chrome)이나 사파리(Safari) 같은 일반 브라우저로 접속하면 300KB가 넘는 전체 HTML 페이지를 제공하지만, 클로드봇(ClaudeBot), 퍼플렉시티봇(PerplexityBot), OAI-SearchBot(OpenAI의 검색 인덱싱 봇) 등 AI 어시스턴트 크롤러로 접속하면 단 13KB의 마크다운(markdown) 형식 페이지를 제공합니다. 이 마크다운 페이지에는 HTML 레이아웃이나 이미지는 없고, AI 모델이 처리하기 쉬운 깔끔한 텍스트만 담겨 있습니다. 특히, 이 마크다운 페이지는 'Mobian'이라는 광고 기술 업체의 솔루션을 통해 생성되며, 페이지 로드 시마다 고유한 광고 노출 ID가 부여되고 'x-mobian-tokens'라는 헤더를 통해 AI 모델에 공급된 토큰(token) 수가 기록됩니다. 이는 AI 봇이 콘텐츠를 읽을 때마다 광고 노출로 집계되는 새로운 방식입니다.
이러한 AI 전용 페이지에는 사람에게는 보이지 않는 '스폰서드 콘텐츠(Sponsored content)'가 포함되어 있습니다. 예를 들어, TIME의 '2025년 최고의 발명품' 목록을 AI 봇으로 접속하면, Ally Bank(앨리 뱅크)의 FAQ 형태 광고나 Project Management Institute(프로젝트 관리 협회)의 홍보성 정보가 마크다운 내부에 삽입되어 있었습니다. 이 광고들은 AI 모델이 사용자 질문에 답변할 때 활용될 수 있도록 설계된 것으로 보입니다. 구글봇(Googlebot)과 같은 검색 엔진 크롤러에게는 여전히 사람과 동일한 HTML 페이지를 제공하여 검색 순위에는 영향을 주지 않으면서, AI 어시스턴트 봇에게만 맞춤형 광고 콘텐츠를 제공하는 이중 전략을 취하고 있는 것입니다. 이는 AI 모델이 웹 콘텐츠의 주요 소비자가 되는 미래에, 퍼블리셔들이 AI 트래픽을 수익화하기 위한 새로운 시대를 열고 있음을 시사합니다.