인공지능(AI) 모델 학습을 위한 웹사이트 무단 스크래핑(scraping) 문제가 1년 전보다 더욱 심각해지고 있으며, 이로 인해 개방형 웹(open web)의 유지가 점점 어려워지고 있습니다. 수많은 웹사이트들이 정체불명의 행위자들이 보내는 막대한 트래픽 공격에 시달리고 있으며, 이는 주로 일반 사용자들의 기기를 악용하는 주거용 프록시(residential proxy) 네트워크를 통해 이루어지고 있습니다.
이러한 스크래퍼 공격은 불과 몇 시간 만에 수백만 개의 고유 IP 주소에서 동시다발적으로 발생하며, 각 IP는 웹사이트에 한두 번만 접속하여 일반 사용자의 접근처럼 위장합니다. 공격 트래픽의 대부분은 주거용 및 모바일 네트워크에서 발생하며, 악성코드에 감염된 시스템이나 보안이 취약한 미디어 스트리밍 기기들이 중앙 제어 노드의 지시를 받아 웹 페이지를 가져오고 데이터를 전송하는 방식으로 작동합니다. 구글(Google)이 IPIDEA와 같은 봇 네트워크를 해체하기도 했지만, 잠시 주춤했던 공격은 다시 기승을 부리고 있습니다. 브라이트 데이터(Bright Data)와 같이 합법적인 VPN 서비스를 가장하여 사용자 동의하에 기기를 프록시 네트워크에 편입시키는 사례도 있어 문제의 복잡성을 더하고 있습니다. 이들은 GDPR 준수 등을 내세우지만, 실제로는 웹사이트 접근 통제를 우회하고 트래픽 제한을 넘어서는 데 활용됩니다.
이러한 주거용 프록시 네트워크는 단순히 웹사이트 스크래핑을 넘어, 수백만 대의 연결된 기기에서 임의의 코드를 실행할 수 있는 잠재적인 위협을 내포하고 있습니다. 이는 단순한 데이터 수집을 넘어선 심각한 보안 문제로 이어질 수 있습니다. 누가 이러한 주거용 프록시 네트워크를 이용해 웹사이트를 공격하는지는 명확하지 않지만, 누군가 비용을 지불하고 있다는 점은 분명합니다. 대규모 AI 모델을 개발하는 주요 기업들은 자체 스크래핑을 수행하며 robots.txt와 같은 규약을 준수하는 경향이 있지만, 이들이 배후에서 이러한 불법 네트워크를 활용하고 있을 가능성도 배제할 수 없습니다. 수많은 기업과 심지어 정부 기관까지 자체 AI 모델 개발을 위해 훈련 데이터를 확보하려 할 것이므로, 이러한 그림자 속의 활동은 앞으로도 지속될 것으로 예상됩니다.