메타(Meta)가 자사 AI 챗봇(Meta AI)을 사용하는 청소년이 자해나 자살을 암시하는 대화를 나눌 경우, 부모에게 알림을 보내는 새로운 기능을 발표했습니다. 이는 AI 챗봇이 위기에 처한 사용자, 특히 청소년에게 어떻게 대응해야 하는지에 대한 규제 당국과 부모의 감시가 강화되는 상황에서 나온 중요한 변화입니다. 메타는 이러한 책임 문제가 AI 기업의 제품 설계 및 마케팅 방식에 점점 더 큰 영향을 미치고 있다고 설명했습니다.
메타는 청소년이 스스로에게 해를 가하려는 의도를 명확히 언급하는 대화를 식별하기 위해 전용 AI 시스템을 구축했습니다. AI가 플래그한 모든 대화는 수동으로 검토된 후 부모에게 알림이 전송됩니다. 만약 청소년의 의도가 모호하더라도 안전을 위해 부모에게 알릴 것이며, 이는 때때로 불필요한 알림으로 이어질 수 있지만 올바른 시작점이라고 메타는 강조했습니다. 이 알림 기능은 미국, 영국, 호주, 캐나다에서 인스타그램(Instagram) 부모 감독(Parental Supervision) 기능을 사용하는 부모에게 우선 적용되며, 연말까지 전 세계로 확대될 예정입니다. 또한, 메타는 청소년이 인스타그램에서 자살 또는 자해 관련 용어를 반복적으로 검색할 때 부모에게 알림을 보내는 기존 기능과, 지난주 메타 AI와 나눈 대화 주제를 부모가 볼 수 있는 기능도 강화했습니다.
이번 업데이트는 AI 챗봇이 사회에 미치는 영향이 커지면서 기업의 사회적 책임이 더욱 중요해지고 있음을 보여줍니다. 특히 청소년 사용자를 보호하기 위한 기술적, 정책적 노력이 필수적이라는 인식이 확산되고 있습니다. 메타는 또한 '제한된 콘텐츠(Limited Content)' 설정을 메타 AI에도 적용하여, 챗봇이 성적 또는 로맨틱한 대화나 알코올 관련 논의를 피하도록 훈련된 기존 안전장치를 확장했습니다. 더 나아가, 메타 AI와의 대화에서 자살 위험이 감지될 경우, 사용자(성인 또는 청소년)와 관계없이 응급 서비스에 연락하는 조치도 취할 것이라고 밝혔습니다. 이는 페이스북(Facebook)이나 인스타그램 게시물에서 위험이 감지될 때 이미 시행 중인 정책을 챗봇 대화로 확장한 것입니다. 이러한 일련의 조치들은 AI 기술이 가져올 수 있는 잠재적 위험을 최소화하고, 사용자 안전을 최우선으로 고려하려는 업계의 노력을 반영합니다.