장기적인 목표를 수행하는 인공지능 에이전트, 특히 대규모 언어모델(LLM) 기반 에이전트의 신뢰성을 확보하는 것은 인공지능 개발의 핵심 과제 중 하나입니다. 에이전트가 스스로 보고하는 상태나 행동을 무조건 신뢰할 수 없기 때문에, 그 작동 방식을 투명하게 검증할 수 있는 새로운 방법론이 필요하다는 지적이 많았습니다. 최근 Mohsen Arjmandi의 연구는 이러한 문제를 해결하기 위한 '자체 검증 에이전트 도구(Self-Verifying Agent Instrument)'를 제안하며 주목받고 있습니다.
이 연구에서 제시된 방법론은 에이전트의 작동 방식을 'Executive'와 'LLM'이라는 두 가지 핵심 구성 요소로 분리합니다. 'Executive'는 모든 '믿음(belief)'을 소유하고 최종 결정을 내리는 결정론적(deterministic) 모듈입니다. 반면, LLM은 오직 '제안(proposal)'만을 제출할 수 있으며, 이 제안은 사전에 등록된 예측이 실제 관찰 결과와 일치할 때만 코드를 통해 '승인(admitted)'됩니다. 이러한 구조는 에이전트의 검증을 사후 분석이 아닌 구조적인 방식으로 가능하게 하며, 시스템의 결함을 실시간으로 파악하고 수정하는 데 도움을 줍니다. 예를 들어, 연구에서는 초기 아키텍처 실행 중 발생한 네 번의 오류가 이 도구를 통해 실제 결함으로 정확히 파악되고 해결되었습니다.
이러한 검증 도구는 장기 목표 에이전트가 겪는 고질적인 문제인 '목표 이탈(commitment drift)'과 '행동 오류(binding drift)'를 명확히 구분하여 측정할 수 있게 합니다. 연구 결과에 따르면, 목표 이탈 메커니즘을 제거했을 때 에이전트의 목표 포기율이 0%에서 100%로 급증했지만, 행동 오류는 0%로 유지되었습니다. 이는 LLM이 목표를 잊어버리거나 이탈하는 문제와 실제 행동을 잘못 수행하는 문제가 서로 독립적임을 보여줍니다. 이 연구는 비록 현재까지는 실제 작업 효율성(task efficacy)이 낮지만, 에이전트 개발을 위한 새로운 검증 방법론과 에이전트의 '드리프트(drift)' 현상을 측정 가능하게 한다는 점에서 중요한 기여를 합니다. 이는 향후 더욱 신뢰성 높고 예측 가능한 인공지능 에이전트를 개발하는 데 필수적인 기반 지식을 제공할 것입니다.