조직 문서의 민감도를 자동으로 분류하는 것은 규제 위반이나 보안 침해로 이어질 수 있는 중요한 문제이지만, 그동안 충분히 다뤄지지 않았던 영역입니다. 인공지능(AI) 기반 접근 방식은 수동 검토의 확장 가능한 대안을 제공하지만, 그 신뢰성은 훈련 데이터의 무결성에 달려 있습니다. 최근 발표된 연구는 이 분야에서 널리 퍼져 있지만 잘 보고되지 않은 문제인 '레이블 누출(label leakage)'이 AI 모델의 성능을 왜곡할 수 있다고 지적합니다.
레이블 누출은 문서 본문에 남아있는 분류 마커(residual classification markers)를 의미하며, 모델이 실제 내용 기반의 민감도 신호를 학습하는 대신 표면적인 지름길을 활용하게 하여 성능 추정치를 부풀리고 신뢰할 수 없게 만듭니다. 이 문제를 해결하기 위해 연구팀은 위키리크스(WikiLeaks)의 미국 외교 전문(PlusD)에서 추출한 16,000개의 외교 문서를 기반으로 'Strategic 16K'라는 새로운 벤치마크를 구축했습니다. 이 벤치마크는 세 가지 범주의 잔여 분류 마커를 식별하고 제거하는 확장된 레이블 누출 제거 프로토콜을 적용하여 데이터의 무결성을 확보했습니다. 이 깨끗한 벤치마크에서 BERT 모델이 89.14%의 정확도와 89.33%의 F1 점수로 가장 강력한 성능을 보였고, ELECTRA가 그 뒤를 이었습니다. 고전적인 모델 중에서는 TF-IDF와 로지스틱 회귀(Logistic Regression) 조합이 훨씬 낮은 계산 비용으로 우수한 성능을 달성했습니다.
이 연구는 명시적인 레이블 누출 통제 조건하에 위키리크스 PlusD 데이터로 구축된 최초의 완전 재현 가능한 민감도 분류 벤치마크를 제시합니다. 이는 AI 기반 문서 분류 시스템을 구축하거나 평가하는 기업 및 연구자들에게 중요한 시사점을 제공합니다. 훈련 데이터의 '깨끗함'이 모델의 실제 성능과 신뢰성에 결정적인 영향을 미친다는 점을 명확히 보여주며, 향후 민감 문서 분류 AI 개발 시 데이터 전처리 과정의 중요성을 강조합니다. 결과적으로, 이 연구는 규제 준수 및 보안 강화를 위한 AI 시스템의 신뢰성을 높이는 데 필수적인 기반을 마련했습니다.