최근 arXiv에 게재된 12,750편의 논문을 분석한 결과, 최신 논문 중 약 3분의 1이 기계 작성처럼 읽히는 문체를 보였으며, 특히 컴퓨터 과학 분야에서는 이 비율이 65%에 달하는 것으로 나타났습니다. 이는 대규모 언어모델(LLM)인 ChatGPT의 등장 이후 학술 논문 작성에 AI 활용이 급증했음을 시사하는 통계적 증거로 해석됩니다.
이번 연구는 2021~2022년 논문을 인간 작성 대조군으로 설정하고 오탐률(false positive rate)을 0.4%로 맞춰 임계값을 설정한 탐지기를 사용했습니다. 분석 결과, ChatGPT 등장 후 AI 문체 판정률이 두 차례 급격히 상승하여 2026년 초에는 약 39%로 정점을 찍었습니다. 분야별로는 컴퓨터 과학이 65.0%로 가장 높았고, 정량 생물학(56.3%), 전기공학 및 시스템(51.3%) 등이 뒤를 이었습니다. 반면, 수식과 증명 구조가 많은 수학 논문은 0.7%로 매우 낮게 측정되었는데, 이는 탐지기가 학습한 일반적인 학술 문체와 수학 논문의 특성이 다르기 때문일 수 있습니다.
이러한 결과는 AI가 학술 연구 및 출판 생태계에 미치는 영향이 상당함을 보여줍니다. 특히 컴퓨터 과학 분야에서 AI 활용이 두드러지는 것은 해당 분야의 특성상 AI 도구에 대한 접근성과 활용도가 높기 때문으로 풀이됩니다. 그러나 연구진은 이 판정 결과가 특정 저자의 AI 사용 여부를 식별하거나, 가벼운 편집과 전체 생성을 구분하는 것은 아니며, 기계적 문체 비중의 '하한선'으로 해석해야 한다고 강조했습니다. AI 탐지 도구의 정확성 한계와 오탐 가능성, 그리고 비공개 모델 및 프롬프트 조합에 대한 평가 불가능성 등은 여전히 해결해야 할 과제로 남아있습니다. 이러한 통계적 신호는 학술 커뮤니티가 AI 시대의 글쓰기 윤리와 저작권, 그리고 평가 방식에 대해 심도 깊게 논의해야 할 필요성을 제기합니다.