기존에는 기계 학습(ML) 모델이 인간의 더 나은 의사결정을 돕는 것이 일반적이었습니다. 하지만 최근에는 역할이 역전되어, AI 에이전트가 사용자 대신 핵심적인 행동을 수행하고 인간이나 다른 도구들이 에이전트를 지원하는 형태로 변화하고 있습니다. 이러한 역할 변화는 에이전트의 오류가 심각한 결과를 초래할 수 있고, 에이전트의 행동이 인간의 목표와 제약 조건에 부합해야 한다는 점에서 신뢰성 문제를 중요하게 부각시킵니다.
이러한 맥락에서, Shayan Kiyani 외 연구진은 AI 에이전트가 중심이 되는 환경에서 '전략적 의사결정 지원(Strategic Decision Support)' 프레임워크를 제안했습니다. 이 프레임워크는 에이전트가 지원 없이 단독으로 행동했을 때 결과가 크게 개선될 수 있었던 '놓친 지원 오류(missed-support error)' 확률을 제어하면서, 지원 사용을 최소화하는 최적화 문제로 설계되었습니다. 연구진은 최적의 정책이 지원 가치에 대한 임계값 규칙임을 밝히고, 이러한 구조를 바탕으로 분포 가정 없이 놓친 지원 오류를 제어하는 온라인 알고리즘을 개발했습니다. 또한, 불필요한 지원 요청을 줄이는 '실시간 보정(calibration-on-the-fly)' 방법도 도입했습니다.
이 프레임워크는 정보 수집, 인간-AI 협업, 도구 사용 등 다양한 시나리오에 적용될 수 있음을 보여주었습니다. 실험 결과, 이 방법은 목표 오류를 안정적으로 제어하면서도 실제 지원 사용량을 크게 줄이는 데 효과적이었습니다. 이는 AI 에이전트의 자율성을 높이면서도 신뢰성을 유지할 수 있는 중요한 접근 방식이며, 앞으로 더욱 복잡해질 에이전트 시스템 개발에 필수적인 요소로 작용할 것입니다.