대화형 멀티모달 감정 인식(MERC) 기술은 사람의 감정을 정확하게 파악하기 위해 음성, 텍스트, 영상 등 다양한 양식(modality)의 정보를 종합적으로 분석합니다. 하지만 현실에서는 네트워크 오류나 사용자 행동 등으로 인해 특정 양식의 데이터가 누락되는 경우가 빈번하며, 이는 모델의 감정 인식 성능을 크게 떨어뜨리는 주된 원인이었습니다. 최근 발표된 C2MOE(Consistency and Complementarity-guided Mixture of Experts) 모델은 이러한 불완전한 멀티모달 입력 상황에서도 뛰어난 성능을 발휘하며 주목받고 있습니다.
C2MOE는 누락된 양식을 복원하고 감정을 추론하는 과정에서 '일관성(consistency)'과 '상보성(complementarity)'이라는 두 가지 핵심 원리를 활용합니다. 기존 연구들은 주로 양식 간의 일관성, 즉 서로 다른 양식이 유사한 정보를 전달한다는 점에 집중했지만, C2MOE는 각 양식만이 가진 고유한 정보(상보성) 또한 중요하게 다룹니다. 이 모델은 전문가 혼합(Mixture of Experts) 프레임워크를 통해 멀티모달 지식을 일관성 및 상보성 구성 요소로 분해하고, 이를 바탕으로 누락된 양식을 예측하는 이중 분기 예측 메커니즘을 도입했습니다. 일관성 분기는 불확실성을 최소화하여 입력과 유사한 특징을 복원하고, 상보성 분기는 각 양식의 독특한 단서를 활용해 풍부한 정보를 보존합니다. 마지막으로, 학습 가능한 재가중치(reweighting) 모듈이 각 전문가의 출력에 동적으로 중요도를 할당하여 강력하고 적응적인 융합을 가능하게 합니다.
이러한 접근 방식은 실제 서비스 환경에서 멀티모달 AI(인공지능)의 활용 범위를 크게 넓힐 수 있다는 점에서 중요합니다. 예를 들어, 고객 상담 센터에서 영상 통화 중 네트워크 문제로 영상이 끊기거나, 음성 비서가 주변 소음 때문에 음성 입력을 제대로 받지 못하는 상황에서도 C2MOE는 남아있는 정보를 최대한 활용하여 사용자의 감정을 정확하게 파악할 수 있습니다. 이는 사용자 경험을 개선하고, 보다 견고한 AI 시스템을 구축하는 데 기여할 것입니다. 다양한 MERC 벤치마크 실험에서 C2MOE는 여러 누락 양식 설정에서 기존 최첨단 방법들을 일관되게 능가하며, 그 견고성과 일반화 능력을 입증했습니다.