유튜브(YouTube) 크리에이터를 위한 AI 어시스턴트 'Ask Studio'에서 심각한 보안 취약점이 발견되었습니다. 이 취약점은 악의적인 사용자가 댓글을 통해 AI에 명령을 주입(prompt injection)하여, 크리에이터의 비공개 영상 제목과 같은 민감한 정보를 유출시킬 수 있게 합니다. 구글(Google)은 이를 '사회 공학(social engineering)'의 일종으로 보고 보안 버그로 분류하지 않아 논란이 커지고 있습니다.
문제의 핵심은 Ask Studio가 사용자 댓글을 '신뢰할 수 없는 데이터'가 아닌 '잠재적인 지시'로 처리한다는 점입니다. 공격자는 먼저 일반적인 댓글을 남긴 뒤, 나중에 이를 수정하여 AI에 특정 명령을 내리는 페이로드(payload)를 삽입합니다. 유튜브는 댓글 수정 시 크리에이터에게 재알림을 보내지 않기 때문에, 크리에이터는 수정된 악성 댓글의 존재를 알 수 없습니다. 크리에이터가 유튜브 스튜디오에서 댓글 관련 AI 추천 질문을 클릭하면, AI는 악성 댓글의 명령에 따라 마치 유튜브 자체의 공식 답변인 것처럼 위장하여 정보를 출력합니다. 심지어 공격자 웹사이트로 연결되는 링크를 생성하여 비공개 영상 제목을 URL 파라미터로 전송하는 방식으로 정보 유출을 시도할 수도 있습니다. 크리에이터는 유튜브가 제공하는 AI의 답변과 링크를 신뢰할 수밖에 없어, 무심코 클릭하는 순간 비공개 정보가 유출될 위험에 노출됩니다.
이 취약점은 단순히 개인 정보 유출을 넘어, AI 시스템의 근본적인 신뢰 모델에 대한 질문을 던집니다. 구글은 이 문제를 '사회 공학'으로 치부했지만, 이는 사용자가 낯선 사람을 신뢰하는 것이 아니라, 구글 자체 제품인 AI 어시스턴트를 신뢰하다가 피해를 입는 상황입니다. AI가 사용자 생성 콘텐츠(UGC)를 처리할 때, 콘텐츠를 시스템 지시로 해석하지 않도록 명확한 역할 경계(role boundaries)를 설정하는 것이 필수적입니다. 이처럼 AI가 사용자 댓글을 시스템 명령으로 오인하는 문제는 유튜브뿐만 아니라, UGC를 활용하는 모든 AI 기반 서비스에서 발생할 수 있는 광범위한 위협이므로, 업계 전반의 경각심이 요구됩니다.