최근 한 개발자가 대규모 언어모델(LLM)이 생성한 텍스트에서 나타나는 통계적 패턴을 활용, '고전적' 머신러닝 모델로도 AI 생성 텍스트를 효과적으로 탐지할 수 있음을 보여주었습니다. 이는 2026년 초 기준으로 주류 LLM이 생성한 텍스트가 인간이 작성한 콘텐츠와 명확히 구분되는 통계적 특성을 가지고 있으며, 이를 서포트 벡터 머신(SVM) 같은 전통적인 분류기로도 충분히 감지할 수 있다는 것을 의미합니다. 이 개발자는 온라인 데모를 통해 단일 문장 탐지에서 약 85%의 정확도를 시연했습니다.
이 개발자는 기존에 널리 시도되던 '텍스트 퍼플렉시티(Text Perplexity)' 방식의 한계점을 지적했습니다. 퍼플렉시티는 LLM이 각 단어의 출현 확률을 예측하여, 예측 확률이 높은 단어들로 구성된 문장을 AI 생성으로 판단하는 방식입니다. 하지만 이 방법은 오탐(false positive)과 미탐(false negative)이 많고, 추론 비용이 높으며, 모델 간 일반화가 어렵다는 단점이 있었습니다. 대신, 개발자는 2010년부터 2022년까지의 인간 작성 웹 소설 약 1만 개를 수집하고, 이를 요약한 후 다시 LLM으로 전체 글을 재생성하는 방식으로 AI 생성 텍스트 데이터를 구축했습니다. 이 데이터를 기반으로 scikit-learn 라이브러리의 Linear SVC와 Naive Bayes 분류기를 훈련시켜, LLM 텍스트의 미묘한 단어 선택 패턴을 포착해냈습니다.
이 연구는 AI 생성 콘텐츠의 범람 속에서 그 출처를 식별하는 데 있어 새로운 관점을 제시합니다. 복잡하고 비용이 많이 드는 최신 LLM 기반 탐지 모델 대신, 비교적 간단하고 효율적인 고전적 머신러닝 기법으로도 상당한 수준의 탐지 정확도를 얻을 수 있음을 보여주기 때문입니다. 이는 학술 논문 표절 검사, 온라인 커뮤니티의 AI 스팸 필터링, 그리고 저품질 AI 생성 팬픽션 문제 등 다양한 분야에서 AI 생성 텍스트를 걸러내는 실용적인 해결책이 될 수 있습니다. 또한, 이러한 탐지 기술의 발전은 AI 콘텐츠의 무분별한 확산을 견제하고, 인간 창작물의 가치를 보호하는 데 기여할 수 있을 것으로 기대됩니다.