다중 AI 에이전트(multi-agent) 시스템은 복잡한 문제 해결을 위해 여러 AI가 협력하는 구조를 가집니다. 특히 수학이나 과학 분야에서는 전문가 역할을 나누어 검토자(reviewer) 에이전트가 다른 에이전트의 결과물을 검토하고 오류를 지적하는 계층적 설계가 흔히 사용됩니다. 이러한 설계는 검토 단계가 잘못된 해결책을 올바른 것으로 바꿀 것이라는 가정에 기반하지만, 최근 아카이브(arXiv)에 발표된 논문은 이러한 가정에 의문을 제기합니다.
연구팀은 4,181개의 옴니-수학(Omni-MATH) 문제에 대해 gpt-oss-120b 모델을 활용한 다중 에이전트 시스템을 테스트했습니다. 쉬운 문제에서는 협업의 효과가 미미했지만, 난이도 4단계 이상부터는 협업의 이점이 뚜렷하게 나타났습니다. 특히, 계획-실행-검토(Planner-Executor-Reviewer, PER) 파이프라인보다 '브로드캐스트(broadcast) 방식의 동료 토론'이 더 높은 최종 정확도를 보였습니다. 흥미로운 점은 PER 방식의 검토자가 브로드캐스트 방식보다 훨씬 더 정확하게 오류를 지적했음에도 불구하고(정확도 0.861 vs 0.644), 그 비판이 다음 해결 과정에 반영될 확률은 훨씬 낮았다는 것입니다. 이는 검토자의 비판이 아무리 정확해도, 그 비판이 실제 문제 해결에 제대로 적용되지 않으면 최종 성능 향상으로 이어지지 않음을 명확히 보여줍니다.
이번 연구 결과는 AI 에이전트 시스템 설계에 중요한 시사점을 제공합니다. 단순히 오류를 잘 찾아내는 검토자를 두는 것만으로는 부족하며, 검토자의 비판이 해결 에이전트의 다음 행동에 효과적으로 통합되고 반영될 수 있는 메커니즘을 구축하는 것이 필수적입니다. 연구팀은 검토자의 피드백을 해결 에이전트의 작업 맥락(working context)에 직접 포함시키는 방식이 어느 정도 개선 효과를 가져왔다고 밝혔습니다. 이는 AI 협업 시스템의 '비판 수용(critique uptake)' 능력, 즉 비판을 이해하고 행동으로 옮기는 능력이 시스템의 전체적인 품질을 결정하는 핵심 요소임을 강조합니다.