최근 머신러닝(ML) 연구자 두 명이 주요 학술대회에 제출된 논문들을 심사하는 과정에서 충격적인 사실을 발견했습니다. 이들은 NeurIPS, WACV, TerraBytes 등 주요 ML 학회에 제출된 논문 22편 중 무려 15편(68%)에서 완전히 조작된 인용, 기존 논문의 가짜 저자 목록, 또는 LLM(대규모 언어모델)이 명백하게 생성한 흔적(예: 환각적 전문 용어, 무의미한 문장, 관련 없는 인용)을 확인했습니다. 더욱이 이들 중 가짜 저자를 포함한 두 편의 논문은 심사를 통과해 구두 발표(oral presentation)로 채택되는 어처구니없는 상황까지 발생했습니다.
이러한 'AI 쓰레기(AI slop)' 문제는 비단 이들만의 경험이 아닙니다. 지난 한 해 동안 여러 연구에서 AI 생성 콘텐츠의 심각성이 드러났습니다. 네이처(Nature)의 4월 분석에 따르면, 2025년 출판된 수만 건의 논문이 유효하지 않은 AI 생성 참고 문헌을 포함하고 있을 가능성이 높다고 합니다. 또한, Zhao 등의 연구에서는 2025년에만 약 146,900개의 환각 인용이 arXiv, bioRxiv 등 주요 사전 출판(preprint) 플랫폼에 퍼져 있었고, 이들 중 85.3%가 정식 출판된 논문에서도 수정되지 않고 남아있음을 밝혀냈습니다. 란셋(The Lancet)의 250만 건 생의학 논문 감사에서는 조작된 참고 문헌을 포함한 논문의 비율이 2년 만에 6배나 증가하여 2026년 초에는 277편 중 1편꼴로 나타났습니다.
문제는 논문 작성에만 국한되지 않습니다. Pangram의 분석에 따르면, ICLR 2026 심사 의견의 21%가 AI로 완전히 생성되었고, 절반 이상이 AI의 개입을 받았습니다. ICML 2026에서는 프롬프트 주입(prompt injection) 기법으로 심사 의견의 약 1%가 LLM 사용 금지 정책을 위반했음을 밝혀냈습니다. 이러한 AI 생성 심사 의견은 조작될 가능성도 있습니다. Li 등의 연구에서는 AI 심사 모델에 맞춰 추상(abstract)을 교묘하게 재작성하면 과학적 내용 변경 없이도 수락률을 최대 38%까지 높일 수 있음을 보여주었습니다. 이처럼 AI가 학술 생태계 전반에 걸쳐 신뢰성을 저해하고 있으며, 이는 학계의 시간 낭비와 연구의 질적 저하로 이어져 궁극적으로 과학 발전 자체를 위협할 수 있습니다.