인스타그램(Instagram)의 AI 콘텐츠 자동 감지 시스템이 다시 한번 오작동 논란에 휩싸였습니다. 사용자들은 생성형 AI(Generative AI)를 전혀 사용하지 않은 일반 사진에도 'AI 콘텐츠' 라벨이 자동으로 붙는다고 보고하고 있습니다. 이는 콘텐츠의 진위 여부를 판단하는 데 혼란을 가중시키고 있으며, 플랫폼 전반의 신뢰도 하락으로 이어질 수 있다는 우려가 나옵니다.
이번 오탐지 사례는 주로 배경 제거(Background Remover)와 같은 간단한 편집 도구를 사용한 이미지에서 발생하고 있습니다. 예를 들어, 디자인 플랫폼 칸바(Canva)의 배경 제거 기능을 사용했거나, 아이폰 사진 앱에서 사소한 보정만 거친 사진들이 AI 콘텐츠로 분류되는 경우가 보고되었습니다. 심지어 AI 학습 방해(poisoning) 처리된 이미지에는 AI 라벨이 붙고, 원본 이미지에는 붙지 않는 기이한 현상도 관찰되었습니다. 반대로 메타(Meta)의 자체 AI 앱으로 생성된 이미지만 정확히 태그되는 등, 시스템의 일관성이 부족하다는 지적이 나옵니다. 메타는 2024년에도 유사한 문제로 'AI로 제작됨' 라벨 오탐지 논란을 겪었으며, 당시 IPTC 및 C2PA 메타데이터를 활용해 AI 콘텐츠를 감지하겠다고 밝혔으나, 그 구체적인 방식은 여전히 불분명합니다.
이러한 AI 감지 시스템의 오작동은 단순히 기술적인 문제를 넘어, 사용자 경험과 플랫폼의 신뢰성에 심각한 영향을 미칩니다. 창작자들은 자신의 원본 콘텐츠가 AI로 오인되어 불필요한 의심을 받거나, 잠재적인 도달률 감소를 겪을 수 있습니다. 또한, 실제 AI 생성 콘텐츠가 제대로 감지되지 않으면, 가짜 정보나 조작된 이미지가 확산될 위험이 커져 플랫폼의 사회적 책임 문제로 비화될 수 있습니다. 메타가 AI 콘텐츠 감지 기술의 정확도를 높이고 투명성을 확보하지 못한다면, 인스타그램은 진위 여부를 알 수 없는 콘텐츠로 가득 찬 공간이라는 인식을 피하기 어려울 것입니다.