설명 가능한 인공지능(XAI: Explainable Artificial Intelligence)은 인공지능(AI) 모델의 의사결정 과정을 사람이 이해할 수 있도록 돕는 도구로 주목받아왔습니다. 하지만 최근 10년간 축적된 증거에 따르면, XAI가 AI 모델에 대한 신뢰를 높이기는커녕, 오히려 잘못된 예측에 대한 과도한 의존을 조장하여 결국 알고리즘에 대한 회피(algorithmic aversion)를 유발할 수 있다는 비판이 제기되고 있습니다. 이는 XAI가 주로 모델이 학습한 특징에 대한 일화적인 통찰을 제공하는 디버깅 도구로서만 기능하고 있음을 시사합니다.
이러한 한계의 근본적인 원인 중 하나는 XAI 방법론이 모델의 내부 작동 방식을 지나치게 단순화하여 설명과 실제 모델 간의 불일치, 즉 '불충실성(unfaithfulness)'을 초래한다는 점입니다. 충실도(faithfulness)는 설명이 모델을 얼마나 정확하게 근사하는지를 나타내는 척도로, 설명의 신뢰성을 정량화하는 중요한 요소입니다. 그러나 기존의 충실도 측정 지표들은 상당한 제약을 가지고 있어, 엄격한 정량화가 어렵거나 계산 비용이 매우 높다는 문제가 있습니다. 마르코 줄리치(Marco Zullich) 외 6인의 연구진은 이 포지션 페이퍼에서 현재 충실도 측정 지표의 다섯 가지 주요 구조적 단점을 명확히 지적했습니다.
이 연구는 XAI의 본질적인 목표인 '신뢰 증진'이 제대로 달성되지 못하고 있음을 보여주며, 이는 AI 시스템의 책임성(accountability)과 투명성(transparency) 확보에 중요한 시사점을 던집니다. XAI가 단순한 디버깅 도구를 넘어, 사용자가 AI의 결정을 진정으로 이해하고 신뢰할 수 있도록 하려면, 설명의 충실도를 더욱 정확하고 효율적으로 측정할 수 있는 새로운 방법론 개발이 필수적입니다. 연구팀이 제시한 네 가지 연구 방향은 향후 XAI 분야의 신뢰성 높은 발전을 위한 중요한 토대가 될 것으로 보입니다.