최근 AI 기업들의 무분별한 웹사이트 스크래핑(데이터 수집) 공격이 급증하면서, 이로 인한 서비스 중단과 사용자 접근 불가 문제가 심화되고 있습니다. 이러한 문제에 대응하기 위해 개발된 서버 보호 도구 '아누비스(Anubis)'가 새로운 해결책으로 떠오르고 있습니다. 아누비스는 이메일 스팸 방지에 사용되던 해시캐시(Hashcash)와 유사한 작업 증명(Proof-of-Work) 방식을 웹사이트에 적용하여, 공격적인 스크래핑의 비용을 크게 높이는 전략을 사용합니다.
아누비스의 핵심은 작업 증명 방식입니다. 이는 개별 사용자에게는 거의 인지할 수 없는 미미한 추가 부하를 주지만, 대규모로 데이터를 수집하려는 AI 스크래퍼에게는 누적된 계산 비용으로 작용하여 수집 효율을 크게 떨어뜨립니다. 즉, 정상적인 웹사이트 이용자에게는 불편함이 없으면서도, 비정상적인 대량 접근에는 경제적 부담을 지우는 절충안인 셈입니다. 이 도구는 최신 자바스크립트(JavaScript) 기능을 활용하므로, JShelter와 같이 자바스크립트 기능을 차단하는 플러그인은 해당 도메인에서 비활성화해야 합니다.
현재의 작업 증명은 임시 대응책이며, 아누비스의 궁극적인 목표는 헤드리스 브라우저(Headless Browser) 식별 기술을 고도화하는 것입니다. 글꼴 렌더링 방식 등을 활용한 브라우저 지문 수집(Browser Fingerprinting) 및 식별 기술을 개선하여, 정상적인 사용자에게는 작업 증명 페이지를 보여주지 않고 바로 웹사이트에 접근할 수 있도록 하는 것이 목표입니다. 이를 통해 웹사이트 관리자는 AI 스크래핑으로부터 서버 자원을 보호하고, 사용자 경험을 저해하지 않으면서도 안정적인 서비스 제공을 유지할 수 있게 됩니다. 이러한 접근 방식은 개방형 웹 생태계를 유지하는 데 중요한 역할을 할 것으로 기대됩니다.