대규모 언어모델(LLM)의 발전은 스스로 추론하고 계획하며 행동하는 '에이전트(agent)' 연구의 물결을 일으켰습니다. 이러한 에이전트 프레임워크는 강력한 LLM을 기반으로 인지, 기억, 의사결정 과정을 통합하여 작동합니다. 최근에는 이미지, 오디오, 비디오 등 다양한 양식(모달리티)을 처리하고 통합할 수 있는 대규모 멀티모달 모델(LMM)이 등장하면서, 에이전트 시스템의 실제 적용 가능성이 크게 향상되고 있습니다.
새롭게 발표된 연구는 기존 LLM 기반 에이전트 연구와 달리, 멀티모달리티가 에이전트의 핵심 기능에 미치는 영향을 체계적으로 분석합니다. 이 논문은 인지(perception), 추론(reasoning), 계획(planning), 기억(memory), 행동(action)이라는 에이전트의 주요 기능 모듈 전반에 걸쳐 멀티모달리티의 역할을 심층적으로 탐구합니다. 텍스트 중심 에이전트에서 멀티모달 프레임워크로의 진화를 추적하고, 위임(delegated), 후기 융합(late-fusion), 초기 융합(early-fusion) 등 다양한 양식 통합 아키텍처를 검토하며, 지상 인지(grounded perception)와 멀티모달 추론을 통해 나타나는 에이전트 행동의 발현을 평가합니다. 또한, 로봇공학, GUI 및 웹 탐색, 멀티미디어 콘텐츠 생성 및 편집, 장편 비디오 이해 및 검색 등 다양한 응용 분야에서 멀티모달 에이전트 시스템의 성능과 효율성-확장성 균형(trade-offs)을 분석하여 핵심 격차를 파악하고 미래 연구 방향을 제시합니다.
이러한 멀티모달 에이전트 프레임워크는 단순히 텍스트를 넘어 현실 세계의 복잡한 정보를 이해하고 처리하는 AI 시스템의 새로운 지평을 열고 있습니다. 다양한 감각 데이터를 통합하여 더욱 정교하고 실제와 같은 상호작용이 가능해지면서, 자율 로봇, 지능형 비서, 창의적 콘텐츠 도구 등 광범위한 분야에서 혁신적인 변화를 이끌어낼 잠재력을 가지고 있습니다. 이는 AI가 인간의 인지 능력에 더욱 가까워지는 중요한 단계이며, 미래 AI 기술의 핵심 동력이 될 것으로 기대됩니다.