최근 인공지능(AI) 분야에서 텍스트, 오디오, 시각 등 다양한 형태의 데이터를 동시에 분석하는 멀티모달(multimodal) 분류 모델의 중요성이 커지고 있습니다. 특히 감정 및 행동 분류와 같은 분야에서는 높은 예측 정확도뿐만 아니라, AI가 어떤 근거로 그러한 결정을 내렸는지 인간이 이해할 수 있도록 설명하는 능력, 즉 '설명 가능성(interpretability)'이 필수적입니다. 하지만 현재 널리 사용되는 트랜스포머(Transformer)와 같은 고성능 모델들은 뛰어난 예측 성능을 보이지만, 그 복잡한 내부 구조 때문에 의사 결정 과정을 명확히 설명하기 어렵다는 '블랙박스(black box)' 문제에 직면해 있었습니다.
이러한 한계를 극복하기 위해 모즈타바 모아타리(Mojtaba Moattari)는 '선형 판별 트리 앙상블(Linear Discriminant Tree Ensembles)' 기반의 새로운 프레임워크를 제안했습니다. 이 프레임워크는 각 모달리티(modality)를 토큰으로 인코딩하고, 개념을 추출 및 클러스터링하여 차원(dimensionality)을 축소한 뒤, 이를 트리 기반 앙상블 분류기로 처리합니다. 특히, 이 연구에서는 이진 분류(binary classification) 작업에서 음성 클래스(negative class)의 영향을 줄여 지표(indicator) 또는 마커(marker) 감지 성능을 향상시키는 새로운 특징 중요도(feature importance) 측정 방식을 도입했습니다. 제안된 선형 판별 트리(LDT), 선형 판별 포레스트(LDF), 선형 판별 AdaBoost(LDAB) 모델은 기존 멀티모달 트랜스포머 대비 F1-mod 점수에서 4.3%p, 주요 설명 가능한 멀티모달 기준선인 IMR(Interpretable Multimodal Routing) 대비 정확도에서 3.0%p 향상된 성능을 보였습니다. 또한, 새로운 특징 중요도 측정 방식은 인간 주석가(human annotator)와의 개념 일치도에서 기존 방식보다 훨씬 높은 점수(IEMOCAP 데이터셋에서 62.2% vs 43.2%, CMU-MOSI 데이터셋에서 46.7% vs 32.1%)를 기록하며, AI의 판단 근거를 인간이 더 잘 이해할 수 있음을 입증했습니다.
이 연구 결과는 임상 감정 모니터링, 교육 평가 등 신뢰가 중요한 애플리케이션에서 AI 활용도를 크게 높일 수 있음을 시사합니다. AI의 높은 정확도와 함께 투명한 의사 결정 과정을 제공함으로써, 사용자들은 AI의 추천이나 진단에 대해 더 큰 신뢰를 가질 수 있게 됩니다. 이는 단순히 기술적 진보를 넘어, AI가 사회 다양한 분야에 더 깊이 통합되고 긍정적인 영향을 미칠 수 있는 중요한 발판을 마련할 것으로 기대됩니다. 설명 가능한 AI(XAI) 분야의 지속적인 발전은 AI의 '블랙박스' 문제를 해결하고, 인간과 AI의 협업을 더욱 강화하는 데 기여할 것입니다.