대규모 언어모델(LLM) 기반 에이전트가 다양한 환경에서 상호작용하며 학습하는 과정에서, 축적되는 경험을 효과적으로 관리하고 재사용하는 것이 중요한 과제로 떠오르고 있습니다. 기존의 자유 형식 텍스트 기반 기억 방식은 상호작용이 늘어날수록 유지보수, 검증, 재사용이 어려워지는 한계가 있었습니다. 이러한 문제를 해결하기 위해 최근에는 실행 가능한 기술이나 프로그램적 세계 모델을 학습하는 상징적(symbolic) 접근 방식이 연구되고 있습니다.
이러한 맥락에서, 새로운 연구인 객체 중심 환경 모델링(Object-Centric Environment Modeling, OCM)이 제안되었습니다. OCM은 에이전트의 경험을 실행 가능한 객체 중심 환경 모델로 체계화합니다. 이 모델은 두 가지 연결된 코드 베이스를 유지하는데, 하나는 환경 엔티티와 메커니즘을 파이썬(Python) 클래스로 정의하는 '객체 지식(object knowledge)'이고, 다른 하나는 이 객체 모델을 가져와 사용하는 재사용 가능한 상호작용 패턴을 기록하는 '절차 지식(procedure knowledge)'입니다. OCM은 각 에피소드(episode) 후 궤적을 반영하고 두 지식 베이스를 업데이트하며, 모든 절차가 업데이트된 객체 모델에 대해 실행되는지 검증합니다. 미래 상호작용 시, 에이전트는 점진적 지식 공개(progressive knowledge disclosure)를 활용하여 간결한 코드 시그니처를 먼저 검사하고 필요할 때만 소스 코드를 읽어 효율성을 높입니다.
OCM 방식은 에이전트가 환경에 대한 이해를 구조화하고, 복잡한 상호작용을 보다 효율적으로 처리할 수 있도록 돕는다는 점에서 의미가 큽니다. 실험 결과, OCM은 다양한 벤치마크에서 최고의 평균 순위를 달성하고 유효하지 않은 행동(invalid actions)을 줄이는 것으로 나타났습니다. 이는 에이전트가 객체 중심 환경 모델을 구축함으로써 학습 효율성과 문제 해결 능력을 크게 향상시킬 수 있음을 보여줍니다. 궁극적으로 이러한 접근 방식은 더욱 견고하고 지능적인 LLM 에이전트 개발에 기여할 것으로 기대됩니다.