최근 대규모 언어모델(LLM) 기반의 다중 에이전트 시스템(LLM-MAS)이 금융, 의료 등 안전이 중요한 다양한 분야에 도입되고 있습니다. 하지만 이러한 시스템은 에이전트 간의 통신 과정에서 악의적인 명령이 주입되어 유해한 행동을 유발할 수 있다는 새로운 보안 위협에 직면해 있습니다. 기존의 방어 시스템들은 이러한 공격을 고정된 위협으로 간주하여, 공격 방식이 진화하거나 시스템이 확장되면서 정상 에이전트의 행동이 변하면 방어력이 급격히 저하되는 한계를 보였습니다.
이러한 문제를 해결하기 위해 연구진은 'OpenEvoShield'라는 공동 진화 지속 방어 프레임워크를 제안했습니다. 이 프레임워크는 두 가지 동적인 변화에 모두 대응합니다. 첫째, 공격자는 방어 시스템을 우회하기 위해 공격 전략을 끊임없이 개선하며, 둘째, 시스템이 확장됨에 따라 정상 에이전트의 행동 양식도 변화합니다. OpenEvoShield는 비대칭 학습률 제어기(M1)를 통해 빠른 공격 측 변화와 느린 정상 측 변화를 분리하여 학습률을 조절합니다. 또한, 정상 행동 경계 업데이트기(M2)로 동적인 행동 경계를 유지하고, EWC(Elastic Weight Consolidation) 정규화 정책 앙상블(M3)을 통해 치명적인 망각 없이 빠르게 적응합니다. 마지막으로, 에너지 기반 다중 세분화 탐지기(M4)는 노드, 서브그래프, 그래프 수준의 증거를 융합하여 새로운 공격을 이상치(out-of-distribution)로 분류합니다. 5가지 벤치마크와 4가지 MAS 토폴로지에서 100회 이상의 배포 라운드를 거친 실험 결과, OpenEvoShield는 기존의 정적 및 지속 방어 시스템보다 뛰어난 성능을 보이며, 이전에 보지 못한 대부분의 공격을 낮은 오탐율(false positive rate)로 탐지해냈습니다.
OpenEvoShield의 등장은 LLM-MAS의 보안 취약성을 해결하고, 이 기술이 안전에 중요한 애플리케이션에 더욱 광범위하게 적용될 수 있는 기반을 마련했다는 점에서 큰 의미를 가집니다. 기존 방어 시스템의 한계를 극복하고 예측 불가능한 공격에 능동적으로 대처할 수 있는 능력을 제공함으로써, LLM-MAS의 신뢰성과 안정성을 크게 향상시킬 수 있습니다. 이는 궁극적으로 LLM-MAS가 사회 전반에 걸쳐 더욱 안전하고 효과적인 방식으로 활용될 수 있도록 기여할 것입니다. 특히, 빠르게 변화하는 AI 위협 환경 속에서 지속적으로 진화하는 방어 메커니즘의 중요성을 강조하며, 향후 AI 보안 연구의 방향성을 제시하는 중요한 이정표가 될 것으로 보입니다.