인공지능(AI) 연구 분야에서 새로운 지평을 여는 벤치마크 '오토월드모델-벤치(AutoWorldModel-Bench)'가 등장했습니다. 이 벤치마크는 AI 코딩 에이전트가 스스로 월드 모델(world model)을 개선하는 능력을 평가하도록 설계되었습니다. 기존 AI 벤치마크들이 주어진 명세에 따라 코드를 작성하는 '명세 기반 엔지니어링(engineering-to-spec)' 작업에 집중했다면, 오토월드모델-벤치는 AI가 스스로 개선 방향을 탐색하는 '자율 연구자'로서의 역량을 측정한다는 점에서 차별점을 가집니다.
월드 모델은 아키텍처(architecture), 학습 목표(training objectives), 상태 표현(state representations) 등 다양한 요소들이 복잡하게 상호작용하며, 특정 환경에 국한되지 않는 단일한 최적의 방법론이 아직 확립되지 않은 미개척 분야입니다. 이러한 특성 때문에 월드 모델 연구는 AI 에이전트가 자율적인 연구자로 활동하기에 이상적인 테스트베드가 됩니다. 오토월드모델-벤치는 닫힌 루프(closed-loop) 방식으로 작동하며, AI 에이전트가 고정된 컴퓨팅 예산 내에서 제공된 월드 모델 스타터 코드를 자율적으로 개선하도록 합니다. 이 벤치마크는 8가지 게임 환경에 걸쳐 통일된 구조화된 상태 표현(structured-state representation)을 사용하는데, 이는 각 게임에서 추출된 실측 엔티티(ground-truth entity) 상태를 공유된 텐서(tensor) 형식으로 소비하여 지각(perception)과 동역학 모델링(dynamics modeling)을 분리하고, 분 단위의 빠른 반복(iteration)을 가능하게 합니다. 연구 결과, 코덱스(Codex)-5.4와 클로드 오푸스(Claude Opus)-4.6 같은 최신 AI 에이전트들은 64개 세션 중 63개에서 초기 모델을 개선했으며, 91%의 세션에서는 하이퍼파라미터(hyperparameter) 조정이 아닌 새로운 목표, 표현 방식, 롤아웃(rollout) 절차 또는 아키텍처 변경과 같은 비범한 연구 스타일의 수정이 성능 향상을 이끌었습니다.
이러한 결과는 AI 코딩 에이전트가 단순히 주어진 지시를 따르는 것을 넘어, 복잡하고 미개척된 연구 문제를 스스로 정의하고 해결할 수 있는 잠재력을 가지고 있음을 시사합니다. 오토월드모델-벤치는 AI의 자율 연구 역량을 평가하고 발전시키는 데 중요한 도구로 작용할 것이며, 이는 궁극적으로 인간 연구자들이 직면하는 개방형 문제 해결에 AI가 기여할 수 있는 길을 열어줄 것입니다. AI가 스스로 과학적 발견을 하거나 새로운 기술을 개발하는 미래에 한 걸음 더 다가섰다고 볼 수 있습니다.