인기 소셜 플랫폼 디스코드(Discord)에서 약 8,000명 이상의 사용자가 부적절한 이유로 계정 정지를 당하는 초유의 사태가 발생했습니다. 문제는 사용자들이 올린 체스판, 게임 텍스처, 마인크래프트(Minecraft) 인벤토리와 같은 '격자무늬(grid-like)' 이미지들을 디스코드의 안전 시스템이 유해 콘텐츠로 오인식하면서 시작되었습니다. 디스코드 측은 시스템 버그를 인정하고 정지된 모든 계정을 복구했다고 밝혔습니다.
디스코드 공동 창립자이자 최고 기술 책임자(CTO)인 스타니슬라프 비슈네프스키(Stanislav Vishnevskiy)는 지난 5월부터 약 200명의 사용자가 격자무늬 이미지로 인해, 그리고 8,000여 명의 사용자가 다른 '무해한(benign)' 이미지로 인해 영향을 받았다고 설명했습니다. 디스코드의 안전 시스템은 알려진 유해 자료와 콘텐츠를 대조하여 플래그를 지정하도록 설계되어 있습니다. 일반적으로 이러한 시스템은 '오탐(false positive)'을 발생시킬 수 있으며, 이 경우 직원이 수동으로 검토하여 최종 결정을 내립니다. 그러나 이번 버그는 플래그가 지정된 계정이 콘텐츠 업로드를 일시적으로 제한하는 대신, 아예 계정을 영구 정지시키는 결과를 초래했습니다. 더욱이, 직원들이 해당 계정을 검토하고 문제가 없다고 판단한 후에도 같은 버그로 인해 정지가 자동으로 해제되지 않고 유지되었던 것으로 드러났습니다.
이번 사건은 인공지능(AI) 기반 콘텐츠 필터링 시스템이 얼마나 강력하면서도 동시에 취약할 수 있는지를 극명하게 보여줍니다. AI가 방대한 데이터를 빠르게 처리하여 유해 콘텐츠를 걸러내는 데 필수적이지만, 미묘한 맥락이나 시각적 패턴을 오인식할 경우 무고한 사용자에게 심각한 피해를 줄 수 있습니다. 특히 디스코드와 같이 수많은 사용자가 다양한 콘텐츠를 공유하는 플랫폼에서는 이러한 시스템의 정확성과 안정성이 사용자 경험에 직접적인 영향을 미치며, 신뢰를 잃을 수도 있습니다. 앞으로 AI 기반 안전 시스템은 오탐을 최소화하고, 오작동 발생 시 신속하고 투명하게 대처하는 능력을 더욱 강화해야 할 것입니다.