AI 에이전트가 복수의 도구(MCP, Multi-tool Co-ordination Protocol)를 활용할 때, 같은 도구를 불필요하게 여러 번 호출하여 중복 실행되는 현상이 관찰되었습니다. 이는 에이전트의 효율성을 저해할 뿐만 아니라, 특히 상태를 변경하는 도구의 경우 실제 시스템에 원치 않는 부작용을 일으킬 수 있어 주목됩니다.
공개 벤치마크 트레이스 분석 결과, 6,780개 트레이스에서 8,042건의 중복 실행이 발생했으며, 이 중 단순 반복을 제외한 4,249건이 유의미한 중복으로 나타났습니다. 특히, 문서 생성이나 스프레드시트 생성처럼 시스템의 상태를 변경하는 도구의 중복 호출 3,432건 중 159건에서는 실제로 같은 제목의 문서가 두 개 만들어지거나 스프레드시트가 네 개 생성되는 등 물리적인 중복 생성이 확인되었습니다. 흥미로운 점은 도구의 수가 많다고 해서 중복 실행이 비례하여 늘어나는 것이 아니라, 4~5개일 때 가장 높고 그 이상에서는 오히려 낮아지는 비단조 패턴을 보였다는 것입니다.
이러한 중복 실행은 대부분 에러를 발생시키지 않고 정상적으로 처리되기 때문에, 사후 로그 분석만으로는 발견하기 어렵다는 특징이 있습니다. 고객이 직접 문제를 인지하고 알려주는 경우가 많을 것으로 예상됩니다. 또한, 도구 응답에 엔티티 ID가 포함되는지 여부가 중복 호출이 실제 중복 생성으로 이어졌는지 판별하는 데 중요한 역할을 했습니다. 문서 생성 API처럼 ID를 반환하는 도구는 중복 생성을 파악하기 쉬웠지만, 이메일 발송처럼 '성공' 메시지만 주는 도구는 판정 불가 사례가 많았습니다.
이러한 중복 실행 문제는 AI 에이전트의 신뢰성과 안정성을 확보하기 위해 반드시 해결해야 할 과제입니다. 벤치마크 데이터는 실제 운영 환경과 차이가 있을 수 있으므로, 실제 서비스 운영자들의 경험을 공유하고 해결책을 모색하는 것이 중요합니다. 에이전트 설계 단계부터 중복 호출을 방지하고, 도구 응답에 고유 식별자를 포함하도록 표준화하는 노력이 필요해 보입니다.