미국 위스콘신주에 사는 앰버 뉴웰(Amber Newell) 씨가 AI 기반 번호판 인식 시스템인 플록 카메라(Flock Camera)의 치명적인 오류로 인해 살인 사건 용의자로 오인되어 일주일 만에 두 번이나 경찰의 총구 위협을 받았습니다. 그녀의 차량이 살인 사건과 연루된 것으로 시스템에 잘못 표시되어 있었고, 이로 인해 고속도로에서 무장한 경찰에 둘러싸이는 충격적인 경험을 해야 했습니다. 이 사건은 자동화된 기술이 인간의 사소한 실수와 결합될 때 얼마나 심각한 결과를 초래할 수 있는지 보여주는 사례입니다.
플록 카메라 시스템은 차량 번호판을 스캔하여 경찰 감시 목록과 대조하는 자동화된 시스템입니다. 뉴웰 씨의 차량은 밀워키 경찰이 수사 중이던 살인 사건과 관련이 있다는 경보를 울렸고, 이에 브룩필드 경찰관들은 즉시 그녀의 차량을 에워싸고 총을 겨눴습니다. 문제는 밀워키 경찰이 해당 차량에 대한 수배 정보를 사건 종결 후 시스템에서 삭제하는 것을 잊었다는 점입니다. 이 단순한 행정 착오로 인해 뉴웰 씨는 지난 월요일에도 비슷한 상황을 겪었음에도 불구하고, 불과 며칠 뒤 같은 일을 다시 겪게 된 것입니다. 브룩필드 경찰서장은 당시 경찰관들의 대응은 시스템 정보에 따른 적절한 조치였다고 밝혔지만, 이는 시스템의 신뢰성에 대한 근본적인 의문을 제기합니다.
이 사건은 기술 자체의 문제가 아니라, 기술을 운영하고 관리하는 인간의 역할이 얼마나 중요한지를 극명하게 보여줍니다. 아무리 첨단 기술이라도 입력된 정보의 정확성과 최신성이 보장되지 않으면 무고한 시민에게 심각한 피해를 줄 수 있습니다. 특히 생명과 직결될 수 있는 경찰 업무에서는 더욱 그렇습니다. 이번 사건은 플록 카메라와 같은 감시 기술이 확산되는 상황에서, 시스템 관리의 투명성과 책임성, 그리고 오류 발생 시 신속한 수정 절차 마련이 필수적이라는 점을 강조합니다. 뉴웰 씨는 자신의 번호판이 시스템에서 완전히 삭제되었는지 확인받고 싶어 하며, 이는 모든 시민이 누려야 할 기본적인 권리입니다.