디스코드(Discord)의 인공지능(AI) 기반 콘텐츠 검열 시스템에 심각한 오류가 발생하여 지난 두 달간 8천 명이 넘는 사용자가 부당하게 계정 정지를 당하는 사태가 벌어졌습니다. 스프레드시트, 체스판, 게임 텍스처 등 전혀 해롭지 않은 이미지들이 유해 콘텐츠로 잘못 분류되면서 시스템이 자동으로 계정을 정지시킨 것입니다. 디스코드는 이 문제가 지난 5월부터 시작되었으며, 최근 주말 동안 200명의 추가 정지자가 발생한 후에야 문제를 인지하고 수정했다고 밝혔습니다. 현재 영향을 받은 모든 계정은 복구 절차를 밟고 있습니다.
디스코드 측은 X(구 트위터)를 통해 자사의 자동 안전 시스템이 업로드된 콘텐츠를 알려진 유해 자료 데이터베이스와 비교하여 일치 여부를 판단한다고 설명했습니다. 이 기술은 불법 콘텐츠를 걸러내기 위해 설계되었지만, 때로는 오탐(false positive)을 일으킬 수 있다는 점을 인정했습니다. 원래는 AI가 플래그(flag)한 콘텐츠를 인간 운영자가 검토한 후 조치를 취해야 하지만, 이번 버그로 인해 시스템이 즉시 계정을 정지시키는 문제가 발생한 것입니다. 사용자들은 특히 격자무늬 패턴이 있는 이미지를 올렸다가 정지당했다는 불만을 제기했는데, 이는 과거에 아동 착취물 등 불법 콘텐츠를 숨기기 위해 격자무늬가 사용된 사례가 있어 AI가 이에 과민 반응했을 가능성이 제기됩니다.
이번 디스코드 사태는 대규모 플랫폼들이 AI 기반 자동화 시스템에 의존하여 콘텐츠를 검열할 때 발생하는 심각한 문제점을 다시 한번 부각시켰습니다. AI 검열은 효율성을 높일 수 있지만, 오탐으로 인한 무고한 사용자 피해는 물론, 계정 정지가 생계나 커뮤니티 활동에 미치는 치명적인 영향까지 고려해야 합니다. 메타(Meta)의 인스타그램(Instagram)과 페이스북 그룹(Facebook Groups), 텀블러(Tumblr) 등 다른 플랫폼에서도 유사한 AI 오작동으로 인한 계정 정지 사례가 보고된 바 있어, AI 검열 시스템의 투명성과 신뢰성 확보가 시급한 과제로 떠오르고 있습니다. 플랫폼들은 '더 나은 안전 장치'를 약속하고 있지만, 기술적 개선과 함께 사용자 소통 및 이의 제기 절차 강화가 필수적입니다.