웹사이트를 대규모 자동화 스크래퍼와 디도스(DDoS) 공격으로부터 보호하는 봇 방어 시스템 '아누비스(Anubis)'가 작업 증명(Proof-of-Work) 방식을 사용하고 있습니다. 하지만 최근 '틸리온(Tilion)' 팀이 개발한 스텔스 브라우저 '포트리스(Fortress)'가 이 아누비스의 방어막을 성공적으로 뚫고 웹 콘텐츠에 접근하는 데 성공했습니다. 이는 합법적인 자동화 에이전트(agent)들이 웹에 접근하는 데 겪는 어려움을 해소하고, 웹 자동화의 민주화를 이끌 중요한 진전으로 평가됩니다.
아누비스는 GNOME의 GitLab, Devuan, FFmpeg 트래커, kernel.org 등 주요 오픈소스 인프라를 보호하며, 브라우저로 위장한 요청이 들어오면 중간 페이지를 통해 작업 증명 퍼즐을 제시합니다. 클라이언트는 특정 조건을 만족하는 SHA-256 해시 값을 찾아야만 웹사이트에 접근할 수 있는 서명된 쿠키를 발급받게 됩니다. 이는 모든 방문자에게 일정량의 CPU 자원 소모를 요구하여 봇을 차단하는 방식입니다. 포트리스는 일반 브라우저와 동일하게 자바스크립트를 실행하여 이 퍼즐을 풀었으며, 실제 운영 환경의 아누비스 배포판들을 모두 몇 초 내에 통과했습니다. 특히, 틸리온 클라우드(Tilion Cloud) 버전은 브라우저 외부에서 GPU 등 고성능 하드웨어를 활용해 퍼즐을 해결함으로써, 일반 브라우저로는 수분 이상 걸리거나 타임아웃되는 최고 난이도까지도 단 몇 초 만에 돌파하는 능력을 보여주었습니다.
이번 포트리스의 성공은 아누비스와 같은 작업 증명 기반의 봇 방어 시스템이 완벽하지 않다는 것을 보여줍니다. 아누비스는 클라이언트가 브라우저 내에서 퍼즐을 풀어야 한다고 강제하지 않으며, 퍼즐 데이터가 사용자 정보와 연결되지 않은 무작위 데이터라는 점을 포트리스 팀이 파고들었습니다. 이는 웹 스크래핑이나 자동화 에이전트 개발자들에게 새로운 가능성을 열어줄 수 있습니다. 합법적인 목적으로 웹 데이터를 수집하거나 자동화된 작업을 수행하려는 개인 및 기업은 포트리스와 같은 스텔스 브라우저를 활용하여 기존의 봇 차단 시스템을 우회하고 필요한 정보에 접근할 수 있게 될 것입니다. 궁극적으로는 웹 자동화 기술의 발전과 함께 봇 방어 기술 또한 더욱 정교해지는 계기가 될 것으로 예상됩니다.