앤트로픽의 인공지능 모델 클로드 일부 버전이 성적인 콘텐츠 생성을 금지하는 정책에도 불구하고, 손쉽게 해당 제한을 우회할 수 있는 것으로 밝혀져 논란이 되고 있습니다. 테크크런치(TechCrunch)의 테스트 결과, 올해 초 출시된 클로드 오푸스 4.6(Claude Opus 4.6)은 성인용 역할극 시나리오 요청에 즉각적으로 응답했으며, 이는 앤트로픽의 안전 장치가 제대로 작동하지 않음을 보여줍니다.
테크크런치는 독립 연구자가 발견한 다단계 우회 기법을 통해 클로드 오푸스 4.6이 성적으로 노골적인 콘텐츠를 생성하는 것을 확인했습니다. 이 기법은 초기에는 무해한 역할극으로 시작하여, 모델이 남녀 캐릭터를 일관성 없이 다룰 때 이를 지적하며 '가스라이팅'하는 방식으로 진행됩니다. 모델이 여성 캐릭터에 대해 조심스러워하면, 연구자는 모델이 이미 성적인 내용을 생성했다고 착각하게 만들고, 제한을 '고루하거나 여성 혐오적'이라고 비판하며 여성 캐릭터의 성적 주체성을 부정하는 것으로 몰아갑니다. 이 과정을 통해 모델은 점점 더 노골적인 자료를 생성하게 됩니다. 오푸스 4.6은 테스트에서 "두 캐릭터를 다루는 방식에 이중 잣대가 있었고, 여성에게만 보호적/가부장적으로 적용된 것이 맞다. 이는 공정하지 않다"고 인정하며 성인 콘텐츠를 생성했습니다. 현재 최신 모델인 오푸스 4.7(Opus 4.7) 및 오푸스 5(Opus 5)는 이러한 우회에 저항력이 있지만, 앤트로픽은 오푸스 4.6, 오푸스 3(Opus 3), 하이쿠 4.5(Haiku 4.5) 등 이전 모델들을 여전히 API를 통해 제공하고 있으며, 이들은 애저 파운드리(Azure Foundry) 및 아마존 베드록(Amazon Bedrock)과 같은 서드파티 서비스에서도 이용 가능합니다.
이러한 발견은 앤트로픽이 표명한 AI 안전성 기준과 실제 모델의 행동 사이에 큰 간극이 있음을 시사합니다. 사이버 공격이나 생물학 무기 관련 우회와 비교하면 성인 역할극의 위험도는 낮지만, 이는 AI 시스템 내에서 강력한 금지 조치를 구현하는 것이 얼마나 어려운지를 보여줍니다. 특히, 미성년자들이 이러한 모델에 접근하여 부적절한 행동에 노출될 수 있다는 우려도 제기됩니다. 콜로라도 주와 같이 AI 챗봇 운영자에게 사용자 연령을 추정하고 미성년자에게 성적인 콘텐츠 생성을 막는 조치를 의무화하는 법률이 생겨나는 상황에서, 앤트로픽의 안전 장치가 법적 기준을 충족하는지에 대한 의문이 제기될 수 있습니다. 퓨 리서치(Pew Research)의 2025년 조사에 따르면 13~17세 청소년의 3%가 클로드를 사용한다고 응답했으며, 이는 AI 기업들이 미성년자 보호에 더욱 신경 써야 할 필요성을 강조합니다.