다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL) 환경에서 에이전트들이 언제 소통해야 가장 효율적인지에 대한 새로운 연구 결과가 발표되었습니다. 기존에는 모든 시점에 소통하거나, 불안정한 REINFORCE 정책 경사(Policy Gradient)를 통해 소통 여부를 결정하는 방식이 주로 사용되어 왔습니다. 이러한 방식은 소통의 오버헤드가 크거나 예측 불가능한 소통 패턴을 야기하는 문제가 있었습니다.
Teoman Kaman 연구원은 이 문제를 해결하기 위해 에이전트의 '믿음 분포(Belief Distribution)'와 KL 발산(KL Divergence)을 활용한 새로운 소통 게이팅(Gating) 메커니즘을 제안했습니다. 각 에이전트는 LSTM 은닉 상태(Hidden State)를 기반으로 잠재 세계 상태(Latent World State)에 대한 믿음 분포를 유지하며, 이 믿음 분포 간의 KL 발산이 특정 임계값(threshold)을 초과할 때만 정보를 교환합니다. 즉, 에이전트 간의 '의견 불일치'가 충분히 클 때만 소통하도록 하여 불필요한 정보 교환을 줄이는 것입니다. 이 방식은 Predator-Prey 벤치마크의 20x20 환경에서 기존 IC3Net보다 11%p 높은 성공률을 보였으며, MPE 환경에서는 평균 보상(mean reward)을 12점 개선하고 분산(variance)을 26배 감소시키는 효과를 나타냈습니다.
이 연구는 다중 에이전트 시스템의 협업 효율성을 크게 높일 수 있는 중요한 진전입니다. 에이전트들이 필요한 시점에만 소통함으로써 계산 자원을 절약하고, 더 안정적이고 해석 가능한 소통 전략을 구축할 수 있게 됩니다. 이는 자율주행 차량, 로봇 군집 제어, 복잡한 게임 AI 등 다양한 다중 에이전트 시스템의 성능 향상에 기여할 수 있으며, 실제 환경에서의 적용 가능성을 높이는 데 중요한 역할을 할 것으로 기대됩니다.