설명 가능한 인공지능(XAI) 기술은 인공지능(AI) 모델이 왜 특정 결정을 내렸는지 이해하는 데 필수적이지만, 이를 제대로 평가하기는 매우 어려웠습니다. 기존 평가 방식은 주로 AI 모델의 예측과 XAI 설명의 일치도(fidelity)를 측정하는 데 그쳤습니다. 그러나 이러한 방식은 설명이 모델의 실제 의사결정 과정을 정확히 반영하는지 보장하지 못하며, 때로는 일치도가 높아도 오해의 소지가 있는 설명을 제공할 수 있다는 한계가 있었습니다.
최근 Miquel Miró-Nicolau 외 연구진은 이러한 문제를 해결하기 위해 '합성 정답(Synthetic Ground-Truth) 프레임워크'를 제안했습니다. 이 프레임워크는 통제된 방식으로 인위적인 데이터셋을 생성하여, 입력 요소의 중요도를 설계 단계부터 명확히 결정할 수 있도록 합니다. 이를 통해 모델의 행동과 직접적으로 연관된 '정답 설명(ground truth explanations)'을 구축할 수 있게 됩니다. 연구진은 이 프레임워크를 이진 이미지, 표 형식 데이터, 시계열 데이터 등 세 가지 데이터 도메인에 적용하여 9가지 주요 XAI 방법론을 평가했으며, 그 결과 기존 XAI 기술들의 상당한 한계를 밝혀냈습니다.
이 연구는 XAI 평가의 패러다임을 바꿀 중요한 전환점이 될 수 있습니다. 단순히 모델 예측과의 일치도를 넘어, 설명이 모델의 실제 내부 작동 방식을 얼마나 정확하게 반영하는지를 평가할 수 있는 길을 열었기 때문입니다. 이는 XAI 기술의 신뢰성을 높이고, 궁극적으로는 AI 시스템 전반에 대한 사용자들의 신뢰를 확보하는 데 기여할 것입니다. 특히 의료, 금융 등 AI의 결정이 중요한 분야에서 XAI의 정확한 평가는 필수적이며, 이번 연구는 이러한 분야의 발전에 큰 영향을 미칠 것으로 기대됩니다.