최근 발표된 연구에 따르면, 최신 멀티모달 인공지능(AI) 모델들이 정적인 이미지나 소리 인식에는 뛰어난 능력을 보이지만, 역동적인 과정에서 보이지 않는 정보를 추론하는 '추상적 인지 추론' 능력은 여전히 인간에 비해 크게 부족한 것으로 나타났습니다. 아리조나 주립대학교(Arizona State University) 연구팀은 '언리튼 벤치마크(The Unwritten Benchmark)'라는 새로운 평가 기준을 제시하며, GPT-4o와 제미니 2.5-프로(Gemini 2.5-Pro) 같은 선두 AI 모델들이 이 영역에서 심각한 한계를 드러냈다고 밝혔습니다.
이 벤치마크의 핵심 과제는 '음향-운동학적 단어 추론(acousto-kinematic word inference)'입니다. 모델들은 펜이 종이를 긁는 소리와 손의 움직임 영상만을 보고, 실제 잉크 자국 없이 쓰여지는 단어를 해독해야 합니다. 인간 참가자들은 이 과제에서 80% 이상의 높은 정확도를 기록했지만, GPT-4o와 제미니 2.5-프로를 포함한 최첨단 멀티모달 모델들은 10% 미만의 저조한 성적을 거두며 인간과의 엄청난 격차를 보였습니다. 더욱이 연구팀은 두 가지 모달리티(소리, 영상)를 모두 제공했을 때 오히려 성능이 저하되는 '역설적인 융합 효과(paradoxical fusion effect)'를 발견했는데, 이는 모델들이 상호 보완적인 지각 단서들을 효과적으로 통합하지 못함을 의미합니다.
이러한 결과는 현재 멀티모달 AI 모델들이 단순한 패턴 인식 수준을 넘어, 복잡한 인지적 추론과 미세한 운동학적 움직임을 이해하는 데 있어 근본적인 한계를 가지고 있음을 시사합니다. 특히, 보이지 않는 정보로부터 인과 관계를 추론하고, 여러 감각 정보를 통합하여 추상적인 개념을 이해하는 능력은 아직 AI가 넘어서야 할 중요한 과제입니다. 이번 연구는 미래 AI 개발이 단순히 데이터 양을 늘리거나 모델 크기를 키우는 것을 넘어, 인간의 직관적이고 추상적인 사고 방식을 모방하는 방향으로 나아가야 함을 강조합니다.