대규모 언어모델(LLM) 기반 에이전트의 성능을 가중치(weight) 업데이트 없이 향상시키는 새로운 접근 방식이 주목받고 있습니다. 기존에는 에이전트의 행동을 조절하는 자연어 기반의 아티팩트(예: 회고, 워크플로우, 프롬프트)를 진화시키는 방식이 주로 사용되었는데, 이는 특정 벤치마크에서만 효과를 보이는 경우가 많았습니다. 이에 마이클 응우옌(Michael Nguyen) 연구팀은 RSEA(Recursive Self-Evolving Agent)라는 재귀적 자가 진화 에이전트를 제안하며, 보다 체계적이고 안전한 진화 방법을 제시했습니다.
RSEA는 명령형 전략(imperative strategy), 재사용 가능한 스킬(reusable skills), 절차적 플레이북(procedural playbook)의 세 가지 계층으로 구성된 자연어 상태를 가집니다. 이 에이전트는 자신의 과거 궤적(trajectories)을 바탕으로 이 세 계층을 스스로 다시 작성(rewrite)하며 진화합니다. 특히, 새로운 후보 전략이 기존 성능을 저하시키지 않는지 별도의 홀드아웃(held-out) 데이터셋으로 엄격하게 검증하는 'keep-better' 게이트를 적용하여 안전성을 확보합니다. 연구팀은 ALFWorld, GAIA, τ-bench, WebShop 등 네 가지 다양한 벤치마크와 ReAct, Reflexion 등 여섯 가지 기준 모델(baseline)을 통해 RSEA를 평가했습니다. 그 결과, RSEA는 ALFWorld에서 단일 실행 시 69.3%의 성공률을 기록하며 ReAct의 64.6%를 능가했고, 재시도(retry) 시에는 79.4%로 최고 성능을 달성했습니다. 이는 특정 아티팩트가 모든 상황에서 우수하지 않으며, 안전 장치 없는 컨텍스트(context) 진화는 불안정할 수 있다는 점을 보여줍니다.
이 연구는 LLM 에이전트가 외부 개입 없이 스스로 학습하고 개선하는 데 있어 중요한 진전을 의미합니다. 특히, RSEA의 엄격한 홀드아웃 선택 메커니즘은 자가 진화 과정에서 성능 저하를 방지하고, 필요시 기본 에이전트(바닐라 ReAct)로 안전하게 회귀할 수 있도록 합니다. 이는 에이전트의 자율성이 높아질수록 발생할 수 있는 예측 불가능한 행동이나 성능 불안정성 문제를 해결하는 데 기여합니다. 앞으로 LLM 에이전트가 더욱 복잡한 실제 환경에서 안정적으로 작동하고, 지속적으로 성능을 향상시키는 데 있어 RSEA와 같은 자가 진화 및 검증 방법론이 핵심적인 역할을 할 것으로 기대됩니다.