최근 연구에 따르면, 여러 에이전트가 협력하여 복잡한 작업을 수행하는 멀티 에이전트 대규모 언어모델(LLM) 시스템의 '계획(planning)' 단계가 심각한 보안 취약점을 가지고 있는 것으로 나타났습니다. 플래너(Planner) 에이전트에 단 한 번의 프롬프트 주입(prompt injection)만으로 전체 하위 작업들이 동시에 오염될 수 있으며, 이는 시스템 전반에 걸쳐 치명적인 오류를 유발할 수 있습니다. 이 연구는 'PlanFlip'이라는 새로운 공격 프레임워크를 통해 이러한 취약점을 체계적으로 분석하고 있습니다.
PlanFlip은 목표 대체(GoalSubstitution, PF-1), 우선순위 역전(PriorityInversion, PF-2), 컨텍스트 오염(ContextPollution, PF-3), 역할 혼동(RoleConfusion, PF-4) 등 네 가지 계획 단계 프롬프트 주입 공격으로 구성됩니다. 이 공격들은 일반적인 키워드 필터를 회피하기 위해 그럴듯한 도구 출력으로 위장합니다. 9가지 최신 LLM을 대상으로 3,479회에 걸친 평가 결과, 놀랍게도 GPT-5와 같은 강력한 모델이 가장 높은 공격 성공률(ASR=0.68)을 보여, 모델 성능이 높을수록 보안에 강할 것이라는 통념을 뒤집었습니다. 또한, GPT-4o나 Llama-3.3-70B처럼 동일한 백본(backbone)을 사용하는 동종 파이프라인(homogeneous pipeline)은 공격자가 계획을 재구성해도 비평가(Critic) 에이전트가 이를 탐지하지 못하는 '상관 에이전트 사각지대(correlated-agent blind spot)'를 드러냈습니다. 반면, 추론 증강(reasoning-augmented) 모델인 DeepSeek-R1은 모든 공격에서 StepShift(계획 변경 정도)가 0.00을 기록하며 높은 저항력을 보였습니다.
이 연구의 핵심 통찰은 멀티 에이전트 시스템의 보안을 위해서는 이질적인(heterogeneous) 모델 다양성이 필수적인 전제 조건이라는 점입니다. 동일한 백본 내의 중복성(redundancy)은 계획 단계 공격에 대한 보호를 제공하지 못합니다. 연구팀은 이러한 취약점을 방어하기 위해 목표 앵커 검사(GoalAnchorCheck, D1)와 교차 에이전트 합의(CrossAgentConsensus, D2)라는 두 가지 방어 메커니즘을 제안했으며, 이는 최대 1.00의 탐지율을 달성하며 기존 방어선보다 뛰어난 성능을 보였습니다. 이는 향후 멀티 에이전트 LLM 시스템을 설계하고 구축할 때 보안을 최우선으로 고려해야 하며, 다양한 모델 아키텍처를 조합하는 것이 중요함을 시사합니다.