음성 기반 대규모 언어모델(LLM)이 사람의 감정을 정확히 이해하는 데 있어 새로운 난관이 발견되었습니다. 최근 발표된 연구에 따르면, AI가 화자의 '말의 내용'(텍스트)과 '말하는 방식'(오디오)이 서로 다를 때 감정 인식 오류가 크게 증가하는 것으로 나타났습니다. 이는 AI가 단순히 텍스트나 오디오 중 한쪽만 분석하는 것을 넘어, 두 가지 정보를 통합하는 과정에서 발생하는 복합적인 문제임을 시사합니다.
연구팀은 텍스트와 오디오 사이의 불일치(incongruence) 정도를 측정하는 새로운 방법을 개발했습니다. 텍스트와 오디오를 '긍정-부정(valence)', '흥분-차분(arousal)', '지배-복종(dominance)'의 3차원 감정 공간에 매핑한 뒤, 두 채널 간의 거리를 불일치 점수로 변환했습니다. 이 점수는 인간의 판단과 비교하여 유효성을 검증받았으며, 세 가지 오디오 지원 모델(audiocapable models)을 대상으로 연기된 대화, 일반 대화, 자연스러운 대화 등 다양한 유형의 음성 데이터(eNTERFACE'05, MELD, CMU-MOSEI)에 적용되었습니다. 분석 결과, 오디오가 포함된 모든 경우에 불일치도가 높을수록 모델의 감정 인식 오류 확률이 일관되게 증가하는 것으로 확인되었습니다.
흥미로운 점은 동일한 특징(feature)으로 학습된 지도 학습 분류기(supervised classifiers)는 정반대의 결과를 보였다는 것입니다. 이는 문제가 신호 자체에 있다기보다는, 대규모 언어모델(LLM)이 원시 데이터(raw evidence)를 결합하는 방식에 어려움이 있음을 시사합니다. 이번 연구는 음성 대화형 AI의 감정 인식 성능을 향상시키기 위해 텍스트와 오디오 간의 복잡한 상호작용을 더 깊이 이해하고, 불일치 상황에 강건한 모델을 개발하는 것이 중요함을 강조합니다. 연구팀은 관련 코드, 데이터 테이블, 프롬프트(prompts)를 공개하여 후속 연구를 장려하고 있습니다.