대규모 언어모델(LLM) 에이전트가 실행 가능한 샌드박스(sandbox) 환경에서 상호작용하며 학습하는 방식이 주목받고 있습니다. 하지만 현재 주로 사용되는 PPO, RLOO, GRPO와 같은 강화 학습(RL) 알고리즘들은 인간 피드백 기반 강화 학습(RLHF)에서 파생된 롤아웃(rollout) 방식을 채택하고 있어, 샌드박스의 고유한 특성을 충분히 활용하지 못한다는 지적이 있었습니다. 이 방식은 각 프롬프트(prompt)마다 N개의 독립적인 궤적(trajectory)을 샘플링하여 평균적인 이점(advantage)을 계산하는데, 이는 샌드박스가 결정론적이고, 중간 상태를 저장(snapshot)하고 재개(resume)할 수 있다는 중요한 속성을 간과합니다.
최근 발표된 '분기 정책 최적화(Branching Policy Optimization, BPO)'는 이러한 샌드박스의 특성을 적극적으로 활용하여 LLM 에이전트의 학습 효율을 획기적으로 개선하는 새로운 강화 학습 알고리즘입니다. BPO는 N개의 독립적인 궤적 대신, N개의 리프(leaf)를 가진 단일 트리를 구성하여 형제 노드들이 접두사(prefix)를 공유하도록 합니다. 구체적으로, BPO는 (i) 주된 궤적(backbone trajectory)을 따라 엔트로피(entropy)가 높은 결정 지점에서 샌드박스 상태를 적응적으로 저장하고, (ii) 각 분기점에서 K개의 대안적 행동(alternative actions)을 포크(fork)하여 각각을 종료 시점까지 롤아웃하며, (iii) 독립적인 프롬프트가 아닌 형제 노드들의 결과(returns)를 기반으로 단계별 이점을 계산합니다. 연구진은 이 추정량(estimator)이 편향되지 않으며, 궤적 수준의 기준선(baseline)보다 분산(variance)이 현저히 낮음을 증명했습니다.
BPO는 WebShop, ALFWorld, SWE-bench Verified와 같은 다양한 벤치마크에서 Qwen2.5-7B 및 Llama-3.1-8B 모델을 백본(backbone)으로 사용하여 그 효과를 입증했습니다. BPO는 동일한 연산량(compute)에서 GRPO 및 RLOO 대비 성공률을 3.6~6.1%p 향상시켰으며, 기울기 노름(gradient-norm) 분산을 절반으로 줄였습니다. 또한, 최상의 기준선과 동일한 성능을 달성하면서도 정책 업데이트 횟수를 38% 절감하는 뛰어난 효율성을 보여주었습니다. 이는 LLM 에이전트의 학습 과정에서 발생하는 연산 비용을 줄이고, 더 빠르고 안정적인 학습을 가능하게 한다는 점에서 중요한 의미를 가집니다. 결과적으로 BPO는 LLM 에이전트의 개발과 배포를 가속화하고, 더 복잡하고 정교한 작업을 수행할 수 있는 에이전트의 등장을 촉진할 것으로 기대됩니다.