인공지능(AI) 에이전트가 웹에서 정보를 수집하는 과정에서 클라우드플레어(Cloudflare)와 같은 봇 탐지 시스템에 의해 차단되는 경우가 빈번합니다. 문제는 이 차단 페이지를 AI가 실제 웹페이지 콘텐츠로 오인하여 잘못된 정보를 학습하거나 보고한다는 점입니다. 개발자 틸리온(Tilion)은 이러한 '조용한 실패'가 AI 에이전트의 신뢰성을 심각하게 저해한다고 지적하며, 이를 해결하기 위한 오픈소스 스텔스 브라우저 '포트리스(Fortress)'를 공개했습니다.
클라우드플레어는 2025년 7월 1일부터 모든 신규 도메인에 대해 AI 크롤러를 기본적으로 차단하고 있으며, 이는 수십억 건의 봇 요청을 막아냈습니다. 하지만 AI 에이전트가 봇 차단 페이지(예: '잠시만 기다려주세요' 화면)를 실제 콘텐츠로 인식하고 요약하여, 마치 올바른 정보를 얻은 것처럼 착각하게 만드는 문제가 발생합니다. 일반적인 HTTP 요청은 403 Forbidden 또는 심지어 200 OK 응답과 함께 차단 페이지 HTML을 반환하기 때문에, 에이전트는 이를 성공적인 요청으로 판단하고 차단 페이지 내용을 분석하게 됩니다. 실제로 인디드(Indeed), 글래스도어(Glassdoor), 크런치베이스(Crunchbase) 등 인기 웹사이트들이 클라우드플레어의 403 차단 페이지를 반환하며, AI 에이전트가 채용 정보나 시장 조사 데이터를 잘못 수집할 위험이 큽니다.
틸리온이 개발한 오픈소스 '포트리스'는 이러한 봇 탐지를 우회하여 실제 콘텐츠를 가져오는 데 성공했습니다. 일반적인 '컬(curl)' 요청이 8개 주요 사이트 중 단 한 곳에서도 실제 콘텐츠를 가져오지 못한 반면, 포트리스는 클라우드플레어, 클라우드프론트(CloudFront), 페리미터X(PerimeterX)로 보호되는 사이트 5곳에서 성공적으로 데이터를 추출했습니다. 예를 들어, 인디드(Indeed)에서는 실제 채용 공고를, 질로우(Zillow)에서는 878개의 실시간 매물 정보를 가져왔습니다. 이는 단순히 사용자 에이전트(user-agent)를 속이는 것을 넘어, 자바스크립트(JavaScript) 챌린지 대기, 전체 페이지 렌더링, 그리고 숨겨진 API 트래픽 분석 등 다단계 우회 기술을 적용한 결과입니다.
포트리스는 오픈소스로 제공되며, 클라우드플레어와 같은 비교적 쉬운 봇 탐지 시스템을 우회할 수 있습니다. 하지만 데이터돔(DataDome)이나 아마존(Amazon)의 클릭월(click-wall)처럼 더욱 복잡한 시스템은 우회하지 못합니다. 이를 위해 틸리온은 '틸리온 클라우드(Tilion Cloud)'라는 호스팅 서비스를 제공하여, 실제 데스크톱 크롬(Chrome)과 유사한 지문 및 TLS(전송 계층 보안)를 유지하고 중간 페이지를 인라인으로 처리함으로써 모든 봇 탐지 시스템을 우회할 수 있도록 지원합니다.
이러한 스텔스 브라우저의 등장은 AI 에이전트의 데이터 수집 정확도를 혁신적으로 높일 수 있다는 점에서 중요합니다. 잘못된 차단 페이지를 실제 정보로 오인하는 '조용한 실패'는 비즈니스 의사결정이나 AI 모델 학습에 치명적인 오류를 유발할 수 있습니다. 포트리스와 같은 도구는 기업들이 채용, 시장 조사, 리드 생성, 쇼핑 등 다양한 분야에서 AI를 활용한 데이터 기반 전략을 더욱 신뢰성 있게 구축할 수 있도록 돕습니다. 또한, 오픈소스 프로젝트를 통해 이러한 기술이 더 널리 확산될 가능성도 열렸습니다. 궁극적으로 이는 AI가 웹에서 더욱 정확하고 신뢰할 수 있는 정보를 얻는 데 필수적인 기반 기술이 될 것입니다.