최근 발표된 연구 논문에서 언어 모델(LLM) 에이전트의 평가 방식에 대한 중요한 비판과 새로운 접근 방식이 제시되었습니다. 기존에는 에이전트가 특정 작업을 얼마나 성공적으로 완료하는지에 초점을 맞춘 '성공률' 같은 결과 지표가 주로 사용되었지만, 이는 에이전트가 작업을 수행하는 과정에서 얼마나 일관된 행동 패턴을 보이는지는 측정하지 못한다는 한계가 있었습니다.
이러한 문제의식을 바탕으로 연구진은 '행동 일관성 지표(Behavioral Consistency Metric, BCM)'를 제안했습니다. BCM은 에이전트의 실행 추적(execution traces)에서 행동 특징을 추출하고, 이를 통해 작업 성공을 예측하는 모델을 훈련합니다. 이후 각 실행 궤적(trajectory)별로 특징 기여도 벡터를 도출하고, 에이전트 시스템 내에서 이 벡터들의 평균 쌍별 유사도를 측정하여 행동 일관성을 정량화합니다. 약 9,000개의 소프트웨어 엔지니어링 작업 궤적을 6개의 LLM 에이전트에 적용한 결과, 작업 내 일관성(동일 작업 반복 시)과 작업 간 일관성(다른 작업 수행 시)이 서로 다른 축이며, 심지어는 분리될 수 있다는 점이 밝혀졌습니다. 즉, 어떤 에이전트는 특정 작업을 반복할 때는 일관된 행동을 보이지만, 다른 작업에서는 전혀 다른 전략을 사용하는 '전역적으로 파편화된' 모습을 보였습니다. 또한, 성공률이 비슷하더라도 행동 일관성에서는 큰 차이를 보이는 에이전트들이 존재한다는 사실도 확인되었습니다.
이 연구는 LLM 에이전트의 신뢰성을 평가하는 데 있어 새로운 관점을 제시합니다. 단순히 작업 성공 여부만을 보는 것을 넘어, 에이전트가 예측 가능하고 안정적인 방식으로 작동하는지, 즉 '과정 수준의 신뢰성(process-level reliability)'을 측정할 수 있게 된 것입니다. 이는 특히 실제 환경에 LLM 에이전트를 배포할 때 중요한 고려 사항이 될 수 있습니다. 에이전트가 일관성 없는 행동을 보인다면, 예상치 못한 오류나 비효율을 초래할 수 있기 때문입니다. BCM은 에이전트 개발자들이 모델의 행동을 더 깊이 이해하고 개선하는 데 도움을 줄 것이며, 궁극적으로 더욱 견고하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것으로 기대됩니다.