최근 AI 학습용 크롤러들이 리눅스 커널(Linux Kernel)의 공식 웹사이트인 git.kernel.org에 무분별하게 접근하며 서버 운영에 심각한 문제를 일으키고 있습니다. 이 크롤러들은 리눅스 커널의 방대한 개발 이력을 AI 학습 데이터로 활용하기 위해, 전체 저장소를 한 번 복제하는 대신 각 커밋(commit)을 개별 HTML 페이지로 렌더링하도록 요청하고 있습니다. 이로 인해 정상적인 Git 복제를 포함한 모든 접근을 합친 것보다 더 많은 CPU 자원을 소모하며, 현재 전체 CPU 용량의 약 20%가 크롤러를 위한 HTML 렌더링에 사용되고 있습니다.
문제의 핵심은 크롤러들이 데이터를 수집하는 비효율적인 방식에 있습니다. 리눅스 커널 저장소는 약 148만 개의 커밋과 922개의 포크(fork)를 포함하고 있는데, 크롤러들은 각 포크에 할당된 별도의 커밋 URL을 통해 동일한 커밋을 최대 922번까지 중복 요청하고 있습니다. 이는 하루 약 600만 건의 무작위 커밋 요청으로 이어지며, 이 중 정상적인 사용자 트래픽은 넉넉히 잡아도 2%에 불과한 것으로 추정됩니다. 운영팀은 초기에는 명백한 스크레이퍼(scraper) IP를 차단하거나, User-Agent를 위장하는 봇에 대응해 전체 서브넷(subnet)이나 ASN(Autonomous System Number)을 막는 등의 조치를 취했습니다. 하지만 크롤러들은 주거용·모바일 프록시(proxy) 네트워크를 통해 수백만 개의 IP로 분산되어 각 IP당 4~5회만 요청하고 사라지는 방식으로 차단을 회피하고 있습니다. 약 1년 전 도입된 작업증명 도구인 아누비스(Anubis) 역시 처음에는 효과를 보았으나, 크롤러들이 난이도 5의 SHA-256 문제까지 풀기 시작하면서 무력화되었고, 오히려 정상적인 모바일 사용자에게만 수초의 대기와 발열이라는 불편을 초래하고 있습니다.
이러한 현상은 AI 시대에 고품질 학습 데이터의 가치가 얼마나 높은지를 보여주는 동시에, 개방형 웹(Open Web)의 지속 가능성에 대한 근본적인 질문을 던집니다. 리눅스 커널 개발 이력은 AI가 생성한 콘텐츠가 섞이지 않은 'AI 이전'의 순수한 코드, 설명, 토론 데이터로서 LLM(Large Language Model) 학습에 매우 귀중한 자원입니다. LLM이 생성한 콘텐츠로 다시 LLM을 학습시키면 품질이 저하될 수 있기 때문에, AI 생성물이 없다고 확신할 수 있는 자료의 가치는 더욱 높아지고 있습니다. 현재 운영팀은 서버에서 생성할 수 있는 URL 수와 계산 비용이 큰 작업을 줄이기 위해 일부 cgit 기능을 비활성화하고 있으며, 익명 접근에서는 일부 기능이 제한될 예정입니다. 리눅스 개발 데이터 자체를 폐쇄하지는 않겠지만, 앞으로는 데이터를 받기 위해 추가 절차를 거쳐야 할 수도 있습니다. 이는 AI 기술 발전이 가져오는 새로운 형태의 자원 고갈 문제이며, 개방된 공공 자원을 어떻게 보호하고 지속 가능하게 유지할 것인지에 대한 사회적 논의가 필요함을 시사합니다.