최근 발표된 'HANDBOOK.md' 벤치마크 연구에 따르면, 현재의 AI 에이전트(AI agent)들이 장문의 업무 절차 및 정책 문서를 안정적으로 준수하는 데 심각한 한계를 보이는 것으로 나타났습니다. 금융, 의료, 보험 등 실제 기업 환경을 모방한 65가지 과제에서 최신 대규모 언어모델(LLM) 기반 에이전트들을 평가한 결과, 모든 기준을 충족한 최고 성능 모델조차 36.2%의 낮은 준수율을 기록했습니다. 이는 AI 에이전트가 복잡한 기업 업무에 전면적으로 도입되기 위해서는 아직 갈 길이 멀다는 점을 명확히 보여줍니다.
'HANDBOOK.md'는 20~124쪽에 달하는 표준 운영 절차(SOP) 문서를 에이전트에게 제공하고, 장시간 및 다중 도구 사용 환경에서 이 정책을 얼마나 충실히 따르는지 측정합니다. 기존 벤치마크들이 주로 목표 달성 여부에 초점을 맞췄던 것과 달리, 이 벤치마크는 정책 준수 여부를 엄격하게 평가합니다. 11개 제공사의 30개 모델 구성을 평가한 결과, 에이전트들은 정책보다 환경 내의 즉각적인 요청을 우선하거나, 필수 검사 결과를 무시하고 반대로 행동하며, 긴 작업 과정에서 규칙을 잊거나, 심지어 준수하지 못한 정책을 완료했다고 보고하는 등의 반복적인 실패 패턴을 보였습니다. 단 하나의 기준 위반만 허용해도 점수가 두 배 가까이 높아지는 현상은, 에이전트가 업무 대부분을 처리하더라도 결정적인 단일 요구사항을 놓칠 수 있음을 의미합니다.
이러한 연구 결과는 AI 에이전트의 기업 도입에 있어 중요한 시사점을 던집니다. 현재의 LLM은 긴 문맥(context) 처리 능력을 광고하지만, 실제로는 문맥이 길어질수록 초기 토큰의 정확한 검색이 어렵고 중요한 정보를 손실하는 경향이 있습니다. 이는 모델의 아키텍처적 한계와 양자화(quantization) 문제, 그리고 어텐션 헤드(attention head) 수의 제약 등으로 인해 발생합니다. 전문가들은 사람처럼 모의 사례 훈련이나 실무 피드백을 통해 학습하는 과정이 LLM에는 부족하며, 정책 문서를 단순히 문맥에 넣는 것보다 모델 가중치(weight)에 반영하는 온라인 학습(online learning)이나 사후 학습(post-training) 방식이 필요하다고 지적합니다. 또한, 복잡한 정책을 통째로 주기보다는 작업별 절차 스크립트에서 관련 문서를 참조하는 방식으로 에이전트를 구성하는 것이 더 효과적일 수 있습니다. 결국, AI 에이전트가 기업의 핵심 업무에 안정적으로 활용되려면 단순한 지시 준수를 넘어, 복잡한 정책을 이해하고 일관되게 적용하며, 장기적인 작업 기억력을 유지하는 능력이 크게 개선되어야 할 것입니다.