다중 에이전트 대규모 언어모델(LLM) 시스템은 여러 AI 에이전트가 협력하여 복잡한 작업을 수행하도록 설계됩니다. 이 과정에서 상위 에이전트의 결정을 개선하기 위해 검토 에이전트(reviewer agent)를 두는 경우가 많습니다. 하지만 최근 푸아드 알리(Fuad Ali)의 연구에 따르면, 검토 에이전트가 오류를 수정하는 긍정적인 역할 외에, 이미 올바른 결정을 불필요하게 변경하여 시스템의 효율성과 신뢰성을 저해할 수 있다는 문제가 제기되었습니다.
연구팀은 이러한 문제를 '제도적 관할권(institutional jurisdiction)'의 관점에서 접근했습니다. 즉, 동일한 제안, 작업 정보, 모델, 검토 출력을 받았을 때, 검토 에이전트가 언제 자신의 권고를 구속력 있게 만들 권한을 가지는가에 대한 것입니다. 연구는 두 가지 접근 방식을 비교했습니다. 하나는 검토 에이전트에게 광범위한 재정의 권한(broad override authority)을 부여하는 것이고, 다른 하나는 '증거 기반 게이트(evidence gate)'를 적용하는 것입니다. 증거 기반 게이트는 검토 에이전트가 구속력 있는 제약 조건 위반에 대한 기계적으로 유효한 기록과 그에 대한 수정안을 제시한 후에만 결정을 변경할 수 있도록 허용합니다. 96개의 공간 정책 작업과 96개의 포트폴리오 이전 벤치마크에서 두 가지 오픈소스 모델(Qwen, Mistral)을 사용하여 실험한 결과, 증거 기반 게이트는 올바른 제안의 손상을 크게 줄이면서도 위반 사항에 대한 대부분의 수정은 유지하는 것으로 나타났습니다.
이 연구 결과는 다중 에이전트 LLM 시스템 설계에 중요한 시사점을 제공합니다. 검토 에이전트의 역량, 행동 인터페이스, 그리고 구속력 있는 관할권이 오류 수정 범위와 올바른 결정의 손상 가능성을 동시에 결정한다는 점을 보여줍니다. 단순히 검토 에이전트를 추가하는 것만으로는 시스템의 성능이 무조건 향상되는 것이 아니며, 오히려 잘못된 개입으로 인해 시스템의 신뢰도가 떨어질 수 있다는 경고입니다. 따라서 LLM 기반의 자율 시스템을 구축할 때는 검토 에이전트의 권한을 신중하게 설계하고, 필요한 경우에만 개입하도록 하는 정교한 메커니즘이 필수적입니다.