대규모 언어모델(LLM) 기반의 에이전트들이 순차적인 의사결정에서 뛰어난 역량을 보여왔지만, 장기적인 목표를 달성하는 데는 근본적인 한계가 있었습니다. 이는 인간이 어떤 행동을 하기 전에 '만약 ~라면 어떨까(what-if)'와 같은 가상 시뮬레이션을 통해 미래 결과를 예측하고 계획을 평가하는 능력, 즉 '내부 월드 모델(internal world model)'이 부족했기 때문입니다. 기존 에이전트는 주로 반응적으로 작동하여, 복잡하고 긴 호흡의 작업에서는 비효율적이거나 실패하는 경우가 많았습니다.
이러한 한계를 극복하기 위해 새로운 연구에서는 미래를 예측하는 계획 능력을 에이전트 내부에 통합하는 방법을 제안했습니다. 핵심은 단일 자기회귀 모델(autoregressive model)을 훈련하여 두 가지를 동시에 수행하게 하는 것입니다. 첫째, 미래의 상태 변화를 예측하여 '상태 전개(state rollout)'를 언어적으로 표현하고, 둘째, 특정 계획이 성공할 확률을 '계획 조건부 성공 추정치(plan-conditioned success estimate)'로 제시하는 것입니다. 이는 마치 강화 학습(Reinforcement Learning)의 Q-값(Q-value)을 텍스트 형태로 구현한 것과 유사합니다. 연구팀은 단순히 에이전트를 미래 예측 추적(look-ahead traces) 데이터로 미세조정(fine-tuning)하는 것만으로는 피상적인 모방에 그칠 뿐, 진정한 예측 능력을 얻기 어렵다는 '형식-능력 격차(format-capability gap)'를 발견했습니다. 이를 해결하기 위해 세 단계 훈련 패러다임을 도입했습니다. 첫째, 월드 모델 에이전트 미드 트레이닝(WM-AMT)을 통해 잠재적인 예측 능력을 정책(policy)에 주입하고, 둘째, 형식 유도 SFT(FE-SFT)로 주입된 능력을 구조화하며, 셋째, 미래 예측 조건부 강화 학습(FC-RL)으로 생성된 시뮬레이션의 정확성과 유용성을 정교하게 다듬었습니다. 이러한 접근 방식은 검색 및 수학적 추론 작업에서 기존 훈련 방식보다 일관되게 우수한 성능을 보였습니다.
이 연구는 LLM 에이전트가 단순히 주어진 정보를 처리하는 것을 넘어, 능동적으로 미래를 예측하고 복잡한 계획을 수립할 수 있는 중요한 전환점을 제시합니다. 내부 월드 모델을 갖춘 에이전트는 자율 에이전트(autonomous agent)의 핵심 역량인 장기 계획, 문제 해결, 그리고 불확실한 환경에서의 의사결정 능력을 크게 향상시킬 수 있습니다. 이는 로봇 공학, 자율 주행, 복잡한 비즈니스 프로세스 자동화 등 다양한 분야에서 더욱 강력하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것으로 기대됩니다. 궁극적으로 인간과 유사한 수준의 인지 능력을 갖춘 AI를 향한 중요한 발걸음이라 할 수 있습니다.