멀티모달 대규모 언어모델(MLLM)이 디자인, 커뮤니케이션, 교육 등 다양한 분야에서 창의적 역량을 발휘할 잠재력이 크지만, 이를 객관적으로 평가하기는 어려웠습니다. 기존 평가 방식은 정확도 중심의 명확한 목표와 보상 신호가 부족했기 때문입니다. 이러한 한계를 극복하고자 새로운 연구에서는 '수용적 창의성(receptive creativity)'의 핵심 인지 능력인 '교차 개념 이해(cross-concept understanding)'에 주목했습니다.
연구팀은 중국어 성어(Chengyu)를 활용한 인지 기반 평가 프레임워크 'C4'를 도입했습니다. C4는 수동으로 주석 처리되고 검증된 교차 개념 네트워크에서 '다리 경로(bridge path)'를 따라 대체 개념을 매핑하는 인코딩 구성 요소와, 모델이 이를 해석하는 디코딩 구성 요소로 이루어져 있습니다. 이 프레임워크를 기반으로 184개의 합성 항목과 37개의 실제 성어 그림으로 구성된 'C4 평가 세트(C4-Eval)'를 구축했습니다. 10개의 MLLM을 평가한 결과, 가장 강력한 비공개 모델조차 50.7%와 48.0%의 낮은 정확도를 보였으며, 오픈소스 모델은 훨씬 더 낮은 성능을 기록했습니다. 이는 현재 MLLM이 교차 개념 관계를 통해 창의적으로 인코딩된 의미를 해독하는 데 상당한 격차가 있음을 보여줍니다.
이 연구 결과는 현재 MLLM이 단순한 사실 기반의 정확도 작업에서는 뛰어난 성능을 보이지만, 비유, 은유, 복잡한 문화적 맥락을 포함하는 창의적이고 추상적인 개념을 이해하고 생성하는 데는 여전히 큰 한계가 있음을 명확히 보여줍니다. 이는 인간과 AI의 협업에서 AI가 진정한 창의적 파트너가 되기 위해서는 언어와 이미지 간의 미묘한 관계, 그리고 문화적 함의를 깊이 있게 학습하고 추론하는 능력이 필수적임을 시사합니다. 앞으로 MLLM의 창의적 역량을 향상시키기 위한 새로운 모델 아키텍처와 학습 방법론 개발이 더욱 중요해질 것입니다.