최근 AI 에이전트(AI agent)는 단순히 한 번의 작업을 수행하는 것을 넘어, 사용자의 연속적인 목표를 달성하기 위한 지속적인 지원을 제공하는 방향으로 발전하고 있습니다. 이러한 장기적인 지원이 가능하려면 에이전트가 낯선 환경을 스스로 이해하고, 학습한 내용을 여러 작업에 걸쳐 재활용하며, 환경이 변화함에 따라 경험을 최신 상태로 유지하는 능력이 필수적입니다.
이러한 요구사항에 발맞춰, 새로운 연구 'ReScopeBench'는 에이전트의 '경험 수명 주기(experience lifecycle)'를 벤치마킹하는 프레임워크를 제안했습니다. 이 벤치마크는 18개의 대화형 환경에서 에이전트가 구조적 경험(환경 구성 방식)과 규칙 경험(재사용 가능한 원칙)을 어떻게 습득하고, 재사용하며, 수정하는지 심층적으로 분석합니다. 연구팀은 공유된 경험을 중심으로 작업 흐름을 구축하고 환경 변화를 은밀하게 도입하는 '경험 우선 구성(experience-first construction)' 방식을 사용해, 20개 모델의 작업 성능과 저장된 경험 변화를 추적했습니다. 그 결과, 에이전트가 기존 경험을 유지하는 것이 작업 성능 향상에 도움이 되지만, 환경 변화에 맞춰 경험을 최신화하는 데는 어려움을 겪는다는 사실을 발견했습니다. 심지어 필요한 경험이 정확히 기록되어 있어도 에이전트가 항상 작업을 성공적으로 완료하지 못하는 경우도 있었습니다.
이러한 발견은 장기 지속형 에이전트(long-lived agent) 개발에 있어 두 가지 중요한 과제를 제시합니다. 첫째는 '선택적 유지보수(selective maintenance)'로, 에이전트가 어떤 경험을 수정하고, 유지하며, 버릴지 효율적으로 결정하는 능력입니다. 둘째는 '효과적인 활용(effective use)'으로, 에이전트가 축적된 경험을 실제 작업에 성공적으로 적용하는 능력입니다. 이 두 가지 과제를 해결하는 것이 미래의 더욱 강력하고 신뢰할 수 있는 AI 에이전트를 구축하는 데 핵심적인 역할을 할 것입니다.