멀티모달 대규모 언어모델(MLLM)이 텍스트뿐만 아니라 이미지, 오디오 등 다양한 형태의 데이터를 통합하면서 인공지능의 이해력과 추론 능력이 비약적으로 발전하고 있습니다. 하지만 이러한 아키텍처의 변화는 머신러닝(Machine Learning)의 안전성 지형을 근본적으로 뒤흔들고 있습니다. 모델의 복잡성 증가와 교차 모달(cross-modal) 상호작용은 기존에는 없던 새로운 위협들을 만들어내고 있으며, 이에 대한 심층적인 분석과 대응책 마련이 시급하다는 연구 결과가 나왔습니다.
최근 발표된 연구 논문 '멀티모달 대규모 언어모델의 진화하는 안전성 지형: 새로운 위협과 보호 장치에 대한 조사(Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards)'에 따르면, MLLM은 모달리티(modality) 정렬 및 융합을 통해 이질적인 정보들을 통합합니다. 이 과정에서 모달리티 통합 손상, 모달리티 불일치, 융합된 안전성 위험 등 새로운 유형의 위협이 발생할 수 있습니다. 이는 기존 단일 모달 모델에 기반한 위협 모델링으로는 포착할 수 없는 부분으로, 적대적 공격(adversarial attacks), 데이터 오염(data poisoning), 탈옥(jailbreaks), 환각(hallucinations) 등 다양한 안전성 문제에 대한 새로운 접근 방식이 필요함을 시사합니다.
이러한 변화는 기존의 단일 모달 학습에 뿌리를 둔 안전성 솔루션으로는 해결하기 어려운 새로운 제약 조건을 부과합니다. 연구진은 MLLM의 진화하는 안전성 지형을 체계적으로 분석하고, 멀티모달 기반의 안전성 위협 분류 체계를 제안했습니다. 또한, 업데이트된 안전성 가정과 MLLM 안전 전략의 최신 발전 사항들을 정리하며, 향후 멀티모달 시스템을 위한 더욱 원칙적이고 확장 가능한 안전성 메커니즘 개발을 위한 열린 도전 과제와 미래 방향을 제시했습니다. 이는 AI 기술의 발전과 함께 안전성 확보가 얼마나 중요한 과제인지를 다시 한번 강조하며, 연구 및 개발 커뮤니티에 중요한 통찰을 제공합니다.