메타(Meta)가 제안한 JEPA(Joint Embedding Predictive Architecture) 기반의 월드 모델(World Model)이 행동 계획(action planning) 과정에서 심각한 결함을 가지고 있다는 연구 결과가 발표되었습니다. 이 모델은 목표 달성을 위해 잠재 공간(latent space) 내 거리(distance)를 기준으로 최적의 행동을 선택하는데, 이때 행동 후보들의 우선순위(ranking)를 잘못 매기는 구조적인 문제가 드러났습니다. 이는 모델이 예측하는 잠재 공간의 근접성이 실제 행동 비용과 일치할 것이라는 암묵적인 가정이 틀렸음을 의미합니다.
정수 장(Zhengshu Zhang)과 지원 리(Zhiyuan Li) 연구팀은 이러한 가정을 직접 검증하기 위해 'ARC-Bench'라는 새로운 평가 프로토콜을 개발했습니다. 이 프로토콜을 통해 공식 JEPA-WM 체크포인트를 탐색(navigation) 및 조작(manipulation) 제어 작업에 적용한 결과, 모델이 선택한 최상위 후보 행동이 거의 항상 차선책(suboptimal)인 것으로 나타났습니다. 심지어 DINOv2 인코더를 비디오 사전 학습된 V-JEPA 1, V-JEPA 2 인코더로 교체해도 이 결함은 지속되었습니다. 연구팀은 이 문제가 그동안 눈에 띄지 않았던 이유를 '폐쇄 루프 재계획(closed-loop replanning)' 때문이라고 설명합니다. 즉, 모델이 목표에 도달하기 위해 지속적으로 계획을 수정하고 재계획하는 과정이 초기 계획의 실패를 가려왔다는 것입니다.
이 연구는 보상 없이(reward-free) 잠재 공간을 활용하여 계획을 세우는 월드 모델의 근본적인 한계를 지적합니다. 잦은 재계획이 없다면 모델의 성공률이 급격히 떨어지는 것을 확인했으며, 이는 현재 보고되는 성공률이 실제 잠재 표현의 순위 결정 능력을 과대평가하고 있음을 시사합니다. ARC-Bench는 이러한 문제를 측정하는 도구를 제공하며, 재계획 메커니즘이 어떻게 모델의 결함을 숨겨왔는지를 명확히 설명합니다. 이는 향후 JEPA-WM과 같은 잠재 공간 기반 계획 모델의 개발 및 평가에 중요한 시사점을 제공할 것입니다.