최근 대규모 언어모델(LLM) 기반의 AI 에이전트들이 복잡한 질문에 답하기 위해 여러 단계의 웹 검색을 수행하는 '장기 검색(long-horizon search)' 기능을 선보이고 있습니다. 하지만 이 과정은 매우 복잡하고 취약하여, 작은 추론 오류가 누적되어 유창하지만 잘못된 답변으로 이어질 수 있습니다. 이러한 오류를 진단하려면 방대한 실행 기록을 수동으로 검토해야 하는데, 이는 인간의 역량을 넘어설 정도로 비효율적입니다.
이 문제를 해결하기 위해 마이크로소프트(Microsoft) 등 연구진은 LLM이 AI 에이전트의 오류를 찾아내고, 원인을 분석하며, 심지어 수정까지 할 수 있는지 평가하는 벤치마크 'SearchAuditBench'를 공개했습니다. 이 벤치마크는 8개 오픈소스 모델과 5개 심층 검색 벤치마크에서 수집된 1,243개의 실패 사례를 포함하며, 각 실패는 전문가가 오류 단계, 검색 관련 근본 원인, 그리고 수정 방안까지 상세히 주석을 달았습니다. 연구진은 또한 다각적인 감사 프레임워크인 'SearchAuditor'를 제안했는데, 이는 증거 기반의 판단을 통해 검색 에이전트의 오류를 효과적으로 찾아내고 수정합니다. 실험 결과, 최신 모델인 GPT-5.5를 사용한 가장 강력한 기준 모델조차 26.6%의 최종 통과율을 보인 반면, SearchAuditor는 32.3%의 통과율을 달성하며 모든 기준 모델을 능가했습니다. 이는 SearchAuditor가 에이전트가 오류로부터 더 잘 회복하도록 돕는다는 것을 의미합니다.
이번 연구는 AI 에이전트의 신뢰성과 안정성을 높이는 데 중요한 진전을 보여줍니다. 특히, 복잡한 작업을 수행하는 AI 에이전트의 오류를 자동으로 진단하고 수정하는 능력은 실제 서비스에 적용될 때 사용자 경험을 크게 향상시킬 수 있습니다. AI 에이전트가 더욱 다양한 분야에서 활용될수록, 이러한 '자가 감사(self-auditing)' 및 '자가 복구(self-repairing)' 기능은 필수적인 요소가 될 것입니다. 이는 AI 시스템의 투명성을 높이고, 개발자들이 에이전트의 성능 저하 원인을 더 쉽게 파악하여 개선할 수 있도록 돕는 기반 기술이 될 것으로 기대됩니다.