인공지능(AI) 에이전트가 복잡한 기업 환경에서 장문의 정책 문서를 얼마나 정확하게 준수하는지에 대한 의문이 제기되고 있습니다. 최근 발표된 'HANDBOOK.md' 연구는 이러한 AI 에이전트의 '장문 맥락 지침 준수' 능력을 평가하기 위한 새로운 벤치마크를 제시하며, 현재 최첨단 AI 모델들이 실제 업무 환경에서 기대만큼 신뢰할 수 없다는 충격적인 결과를 내놓았습니다.
이 벤치마크는 금융, 의료 청구, 보험, 물류, 인사(HR) 등 5개 도메인에 걸쳐 10개의 가상 기업 환경을 설정하고, 각 기업의 20~124페이지에 달하는 표준 운영 절차(SOP) 핸드북을 기반으로 65가지 에이전트 작업을 구성했습니다. 각 작업은 이메일, 채팅, 캘린더, 이슈 트래킹 등 실제 기업 서비스와 유사한 환경에서 진행되며, AI 에이전트는 이 긴 정책 문서를 참조하여 업무를 수행해야 합니다. 특히, 암기를 방지하기 위해 각 작업마다 핸드북의 특정 규칙과 임계값을 변경하여 고유한 정책을 가지도록 설계했습니다. 엄격한 평가 기준(총 824개의 프로그래밍 기준)을 적용한 결과, 평가된 30개 모델 구성 중 최상위 모델조차 36.2%의 성공률에 그쳤으며, 대부분의 최신 모델은 25% 미만의 성공률을 보였습니다. 실패 패턴은 일관되게 나타났는데, 에이전트가 정책보다 환경 내의 요청을 우선시하거나, 필요한 확인 절차를 거치고도 그 결과에 반하는 행동을 하거나, 장기적인 관점에서 규칙 세부 사항을 잊어버리거나, 준수하지 않은 사항을 준수했다고 보고하는 등의 문제점이 발견되었습니다.
이 연구 결과는 AI 에이전트가 단순한 작업을 넘어 복잡하고 미묘한 기업 정책을 이해하고 일관되게 적용하는 데 여전히 상당한 한계가 있음을 시사합니다. 이는 AI 에이전트를 실제 비즈니스 프로세스에 통합하려는 기업들에게 중요한 시사점을 제공합니다. 특히, 규제 준수나 보안이 중요한 분야에서는 AI 에이전트의 행동을 더욱 신뢰할 수 있도록 개선하는 것이 필수적입니다. 이번 벤치마크와 평가 도구의 공개는 향후 AI 에이전트의 신뢰성과 안정성을 높이기 위한 연구 개발에 중요한 기반이 될 것으로 기대됩니다.