최근 대규모 언어모델(LLM) 학습 데이터를 수집하려는 AI 스크레이퍼(scraper) 공격이 급증하면서 개방형 웹 생태계가 위협받고 있습니다. 지난 1년여간 웹사이트에 가해지는 트래픽 부담이 전례 없는 수준으로 늘어났으며, 이는 독립 웹사이트들이 개방성을 유지하기 어렵게 만드는 주요 원인이 되고 있습니다. 공격자들은 수백만 대의 일반 및 모바일 기기로 구성된 주거용 프록시 네트워크를 활용해 기존의 IP 차단 방식을 무력화하고 있습니다.
이러한 공격은 각 IP 주소에서 몇 차례만 요청을 보내고 사용자 에이전트(user-agent) 정보를 위장하는 방식으로 이루어집니다. 이는 마치 평범한 사람이 웹 브라우저를 사용하는 것처럼 보이게 하여 봇(bot) 여부를 판별하기 어렵게 만듭니다. 주거용 프록시 네트워크는 주로 악성코드에 감염된 시스템, 취약한 미디어 스트리밍 기기, 무료 VPN, 앱 SDK 등을 통해 구축되며, 기기 소유자의 인지나 동의 없이 작동하는 경우가 많습니다. 구글(Google)이 IPIDEA나 넷넛(NetNut) 같은 대규모 프록시망을 해체한 뒤 일시적으로 공격이 줄었지만, 곧 다시 증가하는 양상을 보이며 웹사이트 운영자들을 곤란하게 하고 있습니다.
웹사이트 운영자들은 작업 증명(proof of work), 캡차(CAPTCHA), 로그인 및 유료 장벽, 데이터 오염 도구 등으로 대응하고 있지만, 이러한 방어책은 구축 및 유지 비용이 많이 들 뿐만 아니라 실제 사용자에게 불편을 초래합니다. 예를 들어, LWN.net은 독자와 검색 엔진, 인터넷 아카이브(Internet Archive)의 접근을 방해하지 않으면서 공격을 막기 위해 사이트 최적화와 공격 중 비용 억제에 집중하고 있습니다. 그러나 이러한 노력만으로는 근본적인 해결이 어렵다는 지적이 많습니다. AI 모델 개발 기업들은 훈련 데이터 출처를 명확히 밝히지 않고 있으며, 콘텐츠 제작자나 웹사이트 운영자의 우려를 존중하는 모습도 보이지 않고 있습니다.
이러한 상황이 지속된다면 독립 웹사이트들은 결국 방어벽 뒤로 숨어들 수밖에 없을 것이며, 이는 정보 공유와 창의성을 촉진했던 개방형 인터넷의 정신을 훼손할 수 있습니다. AI 도구가 마치 무기처럼 인식되며 군비 경쟁이 진행되는 가운데, 인터넷 전체가 그 과정에 휘말리고 있다는 분석도 나옵니다. 웹사이트 운영자들은 스스로를 방어해야 하는 상황에 놓여 있으며, AI 기술을 개발하고 활용하는 기업들에게 최소한의 윤리 기준을 적용하지 않는 한 이러한 문제는 계속될 것으로 보입니다.