미국의 한 신생 스타트업 '퍼플 박스'(Purple Box)가 인공지능(AI)의 '환각'(hallucination) 현상으로 인해 심각한 비즈니스 위기를 겪었습니다. AI가 생성한 잘못된 정보가 이 회사를 중국 해커와 부당하게 연결시키면서, 웹사이트 트래픽이 거의 사라지다시피 하는 치명적인 피해를 입은 것입니다. 이는 AI가 만들어내는 정보의 신뢰성 문제가 단순한 오보를 넘어 실제 기업의 생존에까지 영향을 미칠 수 있음을 보여주는 사례입니다.
문제의 발단은 특정 AI 모델이 퍼플 박스를 중국 해커와 연관 짓는 잘못된 정보를 생성하면서 시작되었습니다. 이 정보는 곧 구글 검색 결과에도 반영되기 시작했고, 잠재 고객들이 '퍼플 박스'를 검색했을 때 중국 해킹 그룹과 연관된 부정적인 내용이 노출되었습니다. 이로 인해 퍼플 박스의 웹사이트 방문자 수는 급격히 감소했으며, 이는 곧 매출 감소로 이어지는 직접적인 타격이 되었습니다. 스타트업에게 트래픽과 신뢰는 생명과도 같은데, AI의 오작동으로 인해 한순간에 모든 것을 잃을 위기에 처한 것입니다.
이번 사건은 AI 기술이 사회 전반에 확산되면서 그 신뢰성과 책임 문제가 얼마나 중요한지 다시 한번 일깨워줍니다. 특히 대규모 언어모델(LLM)의 환각 현상은 아직 완벽하게 해결되지 않은 과제로 남아있으며, 이러한 오류가 개인이나 기업에 미치는 파급 효과는 상상 이상일 수 있습니다. AI 개발사들은 정보의 정확성을 높이기 위한 기술적 노력을 지속해야 하며, AI 사용자들 역시 AI가 제공하는 정보를 맹신하기보다는 비판적인 시각으로 검증하는 습관을 들여야 할 것입니다. 또한, AI로 인한 피해 발생 시 구제 절차나 책임 소재에 대한 사회적 논의와 제도 마련도 시급해 보입니다.