중국의 주요 인공지능(AI) 기업인 아이플라이텍(iFLYTEK)이 일반 목적의 로봇 에이전트(embodied agent)를 위한 통합 멀티모달 파운데이션 모델인 '아이플라이텍-엠보디드-옴니(iFLYTEK-Embodied-Omni)'를 공개했습니다. 이 모델은 시각(비디오 및 이미지), 언어, 그리고 행동을 단일 '옴니(Omni)' 프레임워크 내에서 동시에 모델링하여, 로봇이 복잡한 환경에서 다중 모드 지시를 이해하고 장기적인 관점에서 정밀한 제어 행동을 생성할 수 있도록 설계되었습니다.
기존의 로봇 에이전트 개발 방식은 주로 시각-언어 추론, 비디오 기반 세계 모델링, 또는 행동 생성 중 한 가지에 특화되어 있었습니다. 이로 인해 미래 관측을 합성한 후 행동을 추론하는 계단식(cascaded) 파이프라인은 인터페이스 병목 현상과 예측 오류 누적이라는 문제를 야기했습니다. 아이플라이텍-엠보디드-옴니는 이러한 한계를 극복하기 위해 시각-언어 모델(VLM), 비디오 생성 모델(VGM), 행동 생성 모델(AGM)이라는 세 가지 핵심 구성 요소를 공유된 멀티모달 셀프 어텐션(self-attention)을 통해 통합했습니다. 이는 고수준의 '두뇌' 역할(지시 이해, 작업 계획, 진행 상황 추적, 미래 시각 상태 예측)과 저수준의 '소뇌' 역할(계획된 하위 목표를 실행 가능한 행동으로 전환)을 협력시키는 '두뇌-소뇌 협업' 구조를 구현합니다.
이 모델은 사람의 시연과 로봇 상호작용에서 얻은 행동 주석이 달린 비디오와 행동 주석이 없는 비디오를 활용하여 포괄적인 데이터셋을 구축했습니다. 또한, 로봇 추론(embodied reasoning), 로봇 인지(embodied perception), 그리고 일반적인 이미지-텍스트 데이터를 결합하여 학습시켰습니다. 훈련은 VLM, VGM, AGM을 순차적으로 훈련한 후 전체 모델을 공동으로 미세조정(fine-tuning)하는 4단계 전략을 채택했습니다. 이러한 통합 접근 방식은 로봇이 더욱 자연스럽고 효율적으로 현실 세계와 상호작용할 수 있는 길을 열어줄 것으로 기대됩니다.