설명 가능한 인공지능(XAI) 기술이 쏟아져 나오고 있지만, 정작 실제 업무 환경에서는 거의 사용되지 않고 버려지는 경우가 많다는 지적이 나왔습니다. 이는 XAI 연구가 임시방편적인(ad-hoc) 방법론 개발에만 집중하고, 설명이 실제 행동으로 이어지는 시스템을 구축하는 데 필요한 근본적인 토대 마련에는 소홀했기 때문이라는 분석입니다.
미칼 모쉬코비츠(Michal Moshkovitz) 외 9명의 연구진은 ICML 2026에 발표된 포지션 페이퍼를 통해 이러한 현실을 비판했습니다. 이들은 최근 주요 AI 학회(ICML, NeurIPS, ICLR) 논문 분석과 XAI 실무자 설문조사를 바탕으로, XAI 연구가 명확한 문제 정의, 불분명한 평가 목표, 그리고 설명 기반 피드백 파이프라인 부재와 같은 구조적 문제에 직면해 있다고 강조했습니다. 예를 들어, 특정 모델의 예측이 왜 그렇게 나왔는지 설명하는 기술은 많지만, 그 설명을 바탕으로 사용자가 모델을 개선하거나 의사결정을 바꾸는 일련의 과정에 대한 연구는 부족하다는 것입니다.
이 논문은 XAI 연구가 단순히 설명을 생성하는 것을 넘어, 그 설명이 인간의 의사결정과 시스템 개선에 실질적으로 기여할 수 있도록 근본적인 접근 방식의 전환을 촉구합니다. 이는 AI 시스템의 신뢰성을 높이고, 사용자가 AI를 더 효과적으로 이해하고 활용할 수 있도록 돕는 데 필수적입니다. 연구진이 제시한 실용적인 체크리스트는 XAI가 인간 중심적이고 행동 지향적인 패러다임으로 발전하는 데 중요한 로드맵을 제공하며, 궁극적으로 설명이 피드백 기반의 실행 가능한 AI 시스템으로 통합되는 길을 열어줄 것으로 기대됩니다.