AI 에이전트가 복잡하고 장기적인 작업을 수행하는 사례가 늘면서, 이들이 남기는 방대한 실행 로그에서 오류의 근본 원인(Root-Cause Attribution, RCA)을 정확하게 찾아내는 것이 핵심 과제로 떠올랐습니다. 기존에는 대규모 언어모델(LLM)을 활용한 자동화된 RCA 방식이 시도되었으나, 실행 기록(execution traces)이 길어질수록 관련 정보가 분산되어 있거나 실패 지점과 멀리 떨어져 있어 진단 정확도가 현저히 떨어지는 문제가 있었습니다.
이러한 문제를 해결하기 위해, 새로운 연구에서는 '지속적 탐색(Continual Search)'이라는 반복적인 프레임워크를 제안했습니다. 이 프레임워크는 LLM이 한 번의 판단으로 진단을 내리는 대신, 여러 차례에 걸쳐 미해결된 진단 증거를 계속해서 탐색하도록 유도합니다. 연구팀은 기존 4가지 RCA 벤치마크와 새롭게 구축한 대규모 실행 추적 데이터셋인 '메가RCA-믹스(MegaRCA-Mix)'를 통해 지속적 탐색의 효과를 검증했습니다. 특히 메가RCA-믹스는 장기적이고 실행 중심적인 작업에서 발생한 50가지 실패 사례에 대한 인간 주석(human-annotated)을 포함하여, 대규모 환경에서의 RCA 평가에 적합합니다.
실험 결과, 지속적 탐색은 여러 벤치마크와 다양한 모델에서 일관되게 RCA 성능을 개선했습니다. 특히 메가RCA-믹스에서는 GPT-5.5의 F1 점수를 0.349에서 0.498로 40% 이상 향상시키는 놀라운 결과를 보였습니다. 더 흥미로운 점은, 동일한 모델 계열 내에서 낮은 등급의 모델이 지속적 탐색을 통해 더 높은 등급의 모델보다 우수한 성능을 보이기도 했다는 것입니다. 이는 단순히 모델의 규모를 키우는 것보다 효과적인 탐색 전략이 AI 에이전트의 오류 진단에 훨씬 더 중요하게 작용할 수 있음을 시사합니다. 이 연구는 AI 에이전트의 신뢰성을 높이고 개발자가 문제 해결에 필요한 실질적인 개입(actionable interventions)을 할 수 있도록 돕는 중요한 진전을 의미합니다.