최근 발표된 '하이퍼월드(HyperWorld)' 연구는 언어 모델(LLM) 기반 에이전트가 가상 환경의 역학을 예측하고 행동을 계획하는 데 사용하는 월드 모델(world model)의 효율성을 높이는 새로운 방법을 제시했습니다. 이 연구는 텍스트 환경에서 모델이 상태 설명을 학습하는 방식, 즉 직렬화(serialization) 구조가 월드 모델 성능에 미치는 영향을 체계적으로 분석했습니다. 특히, 엔티티(entity)와 관계를 중심으로 여러 사실을 묶는 하이퍼엣지(hyperedge) 구조가 기존 방식보다 우수한 성능을 보였습니다.
연구팀은 원시 관측값과 함께 독립 문장, 쌍별 트리플(pairwise triples), 그리고 엔티티 중심의 하이퍼엣지 단위 등 세 가지 상징적 직렬화 방식을 비교했습니다. 모든 방식은 주어진 상태와 행동에 대해 상징적 효과를 예측하거나 행동의 불가능성을 판단하는 동일한 학습 목표를 가졌습니다. 실험 결과, 0.5B~1.5B 규모의 중소형 모델과 학습 데이터와 다른 환경(out-of-distribution)에서 하이퍼엣지 직렬화가 가장 명확한 성능 향상을 보였습니다. 대규모 모델에서는 성능 차이가 줄어들었지만, 하이퍼엣지 방식은 분포 변화 환경에서 가장 강력한 사실 F1 점수를 달성하며, 실행 가능성 감지 및 효과 예측 사이의 최적의 균형을 제공했습니다. 또한, 탐욕적 계획(greedy planning)에서도 하이퍼엣지 월드 모델이 가장 높은 성공률을 기록했습니다.
이 연구 결과는 고차원적인 상태 조직화가 학습된 상징적 월드 모델에 간단하면서도 효과적인 귀납적 편향(inductive bias)으로 작용함을 보여줍니다. 특히 모델 용량이 제한적이거나 테스트 환경이 학습 환경과 다를 때 그 효과가 두드러집니다. 이는 LLM 에이전트가 더 복잡하고 예측 불가능한 환경에서 더 효과적으로 작동할 수 있도록 하는 중요한 기반 기술이 될 수 있습니다. 향후 게임, 시뮬레이션, 로봇 제어 등 다양한 분야에서 LLM 에이전트의 지능적 행동을 구현하는 데 기여할 것으로 기대됩니다.