최근 닐슨(Nielsen)의 미디어 데이터 및 기술 전문 자회사인 그래스노트(Gracenote)의 분석에 따르면, 인공지능(AI)이 스트리밍 서비스의 콘텐츠 제목을 생성하는 과정에서 5개 중 1개꼴로 완전히 잘못된 정보를 만들어내는 '환각(hallucination)' 현상을 보이는 것으로 밝혀졌습니다. 이는 AI가 콘텐츠를 요약하거나 추천하는 데 활용될 때 사용자에게 심각한 오정보를 전달할 수 있다는 우려를 낳고 있습니다.
그래스노트는 수십만 개의 스트리밍 콘텐츠 제목을 AI가 생성한 요약 및 설명을 비교 분석했습니다. 그 결과, AI가 기존 콘텐츠의 제목을 완전히 다르게 생성하거나, 존재하지 않는 제목을 만들어내는 경우가 빈번하게 발견되었습니다. 이러한 환각 현상은 특히 대규모 언어모델(LLM)이 훈련 데이터에 없는 정보를 추론하거나, 불완전한 정보로 인해 잘못된 결론을 내릴 때 발생하며, 미디어 콘텐츠의 방대한 양과 미묘한 맥락을 AI가 정확히 이해하는 데 한계가 있음을 보여줍니다.
이번 연구 결과는 미디어 및 엔터테인먼트 산업에서 AI 도입을 가속화하려는 움직임에 중요한 시사점을 던집니다. AI는 콘텐츠 분류, 메타데이터 생성, 개인화된 추천 등 다양한 분야에서 효율성을 높일 잠재력을 가지고 있지만, 정보의 정확성을 담보하지 못한다면 오히려 사용자 경험을 저해하고 신뢰도를 떨어뜨릴 수 있습니다. 따라서 AI 기반 콘텐츠 관리 시스템을 구축할 때는 환각 현상을 최소화하고, 생성된 정보에 대한 엄격한 검증 절차를 마련하는 것이 필수적입니다. 이는 AI 기술의 발전과 더불어 인간의 개입이 여전히 중요한 이유를 강조합니다.