최근 대규모 언어모델(LLM) 기반의 에이전트가 복잡한 장기 목표(long-horizon tasks)를 수행하는 데 어려움을 겪고 있다는 연구 결과가 나왔습니다. 기존의 그룹 기반 정책 최적화(Group Policy Optimization) 방식은 에이전트가 목표 달성에 실패했을 때, 어떤 행동이 잘못되었는지 명확한 학습 신호를 제공하지 못하는 한계가 있었습니다. 이는 에이전트가 의미 없는 행동을 반복하거나, 목표 달성에 필수적인 중요한 행동을 충분히 탐색하지 못하게 만드는 '신용 함정(credit trap)'에 빠지게 했습니다.
이러한 문제를 해결하기 위해 카이빙 양(Kaibing Yang) 외 8인의 연구진은 새로운 학습 방법인 ProGPO(Progress-conditioned Group Policy Optimization)를 제안했습니다. ProGPO는 에이전트가 모든 시도에서 실패했을 때, 단순히 최종 결과 보상(outcome reward)에만 의존하지 않고 '새로운 상태 방문(first-visit observation coverage)' 여부를 보상으로 활용합니다. 즉, 목표 달성에 실패했더라도 이전에 방문하지 않았던 새로운 환경 상태를 탐색한 행동에 더 높은 상대적 이점(relative advantage)을 부여하여, 에이전트가 더 효율적으로 환경을 탐색하고 유의미한 행동을 학습하도록 유도합니다. 이 방식은 특히 모든 시도가 실패하여 기존 방식으로는 학습 방향을 찾기 어려운 상황에서 강력한 효과를 발휘합니다.
연구진은 ProGPO의 효과를 검증하기 위해 ALFWorld와 WebShop이라는 두 가지 도전적인 에이전트 벤치마크에서 Qwen2.5-1.5/7B-Instruct 모델을 활용한 실험을 진행했습니다. 실험 결과, ProGPO는 기존 그룹 기반 학습 방식보다 일관되게 성능을 향상시켰으며, 특히 난이도가 높은 과제에서 훨씬 더 큰 개선 효과를 보였습니다. 이는 LLM 에이전트가 복잡한 환경에서 스스로 학습하고 문제를 해결하는 능력을 크게 향상시킬 수 있음을 시사하며, 게임, 로봇 제어, 복잡한 웹 탐색 등 다양한 분야에서 LLM 에이전트의 활용 가능성을 넓힐 것으로 기대됩니다.