텍스트-이미지 생성 인공지능(AI) 모델의 발전은 놀랍지만, 동시에 폭력이나 노출 같은 유해 콘텐츠(NSFW) 생성이라는 심각한 안전 문제를 야기하고 있습니다. 특히 '레드 팀 공격(red-teaming adversarial attacks)'과 같은 적대적 공격은 이러한 문제를 더욱 심화시키는데, 이는 AI의 취약점을 찾아내 오용될 수 있는 콘텐츠를 생성하도록 유도하는 방식입니다. 기존 방어 기술들은 대부분 모델의 내부 구조에 접근해야 하는 '화이트박스(white-box)' 방식이어서, 구글이나 오픈AI 같은 기업의 독점적인 상용 모델에는 적용하기 어렵다는 한계가 있었습니다.
이러한 한계를 극복하기 위해, 최근 연구진은 'DiSCO(Distribution-guided Contrastive Prompt Optimization)'라는 새로운 방어 기술을 제안했습니다. DiSCO는 모델의 내부를 전혀 수정하지 않고 오직 프롬프트(prompt) 수준에서 작동하는 '블랙박스(black-box)' 방식입니다. 이 기술은 사용자가 입력한 프롬프트에 '접미사 확장(suffix expansion)'을 적용하고, 안전한 이미지와 유해한 이미지 풀(pool)을 비교하여 최적의 프롬프트를 찾아냅니다. 이 과정은 모델이 스스로 생성한 이미지를 기반으로 반복적인 피드백을 거쳐 안전한 콘텐츠가 나올 때까지 진행됩니다. 연구 결과, DiSCO는 기존 방어 모델뿐만 아니라 방어되지 않은 모델에서도 유해 이미지 생성률(ASR)을 각각 37.7%와 25.13% 감소시키면서도, 이미지의 의미적 일관성과 품질을 유지하는 것으로 나타났습니다.
DiSCO의 가장 큰 의미는 모델 재학습이나 미세조정(fine-tuning) 없이 '플러그 앤 플레이(plug-and-play)' 방식으로 어떤 텍스트-이미지 생성 시스템에도 즉시 적용 가능하다는 점입니다. 이는 독점적인 상용 AI 모델의 안전성을 강화하는 데 핵심적인 역할을 할 수 있습니다. 또한, 언어적으로는 안전해 보이지만 모델의 학습 데이터 분포 때문에 유해한 이미지를 생성하는 '양성 적대적(benign adversarial)' 문제에 대한 효과적인 해결책을 제시합니다. 이러한 기술은 AI의 사회적 책임과 윤리적 활용을 보장하는 데 기여하며, AI 서비스 제공자들이 안전한 AI 환경을 구축하는 데 필수적인 도구가 될 것입니다.