최근 멀티모달 대규모 언어모델(MLLM)과 다중 에이전트 시스템의 발전으로 시각 생성 인공지능(AI) 분야가 크게 발전했지만, 여전히 세 가지 주요 한계에 직면해 있습니다. 첫째, 기존 방식들은 특정 작업에 맞춰 학습되어 일반화 능력이 부족합니다. 둘째, AI의 반성(reflection) 과정이 작업 완료 후에야 이루어져 비효율적입니다. 셋째, 지식 습득이 특정 작업 요구에만 반응하여 능동적인 학습이 어렵습니다. 이러한 문제점들은 AI가 다양한 시각 생성 작업을 유연하게 수행하는 데 걸림돌이 되어 왔습니다.
베이항 대학교(Beihang University)를 중심으로 한 연구팀은 이러한 한계를 극복하기 위해 '옴니하네스(OmniHarness)'라는 새로운 프레임워크를 제안했습니다. 옴니하네스는 검증된 실행 과정을 상징적 정책(symbolic policies)으로 추상화하여 시각 생성 작업군에 적용합니다. 이 정책들은 공통 절차와 적용 조건을 포착하고, 특정 입력값을 제거하여 일반화된 형태로 저장됩니다. 옴니하네스는 새로운 작업이 주어지면 이 정책들을 인스턴스화하고, 필요에 따라 조정하며, 여러 정책을 조합하여 활용합니다. 또한, 중간 단계에서 검증을 통해 실행 중에도 개선 및 실패 복구가 가능하며, 능동적인 자기 주도 학습을 통해 자체적으로 연습 과제를 생성하고 수행하며 능력을 지속적으로 확장합니다. 이 과정에서 모델 매개변수는 고정된 채 정책만 개선됩니다.
옴니하네스는 6가지 벤치마크, 3가지 MLLM 백본, 3가지 시각 에이전트 프레임워크에 걸쳐 실험되었으며, 강력한 성능과 지속적인 능력 확장을 입증했습니다. 특히 ComfyBench의 창의적 작업(Creative tasks)에서 95.0%의 해결률을 달성하여 기존 최고 성능 기준선보다 27.5%포인트 높은 성과를 보였습니다. 이러한 '고정된 정책 스냅샷(frozen policy snapshots)'은 기존 시각 에이전트 시스템에 플러그 앤 플레이(plug-and-play) 방식으로 재사용되어 성능을 향상시킬 수 있음을 시사합니다. 이는 시각 생성 AI가 더욱 다양한 실제 시나리오에서 효과적으로 활용될 수 있는 가능성을 열어주며, AI 에이전트의 범용성과 효율성을 크게 높일 중요한 진전으로 평가됩니다.