분산된 데이터 환경에서 개인 정보 보호를 지키며 협력적으로 AI 모델을 훈련하는 연합 학습(Federated Learning, FL)이 주목받고 있습니다. 하지만 FL은 데이터 프라이버시 문제를 해결할 뿐, 현대 AI 모델의 복잡하고 불투명한 의사 결정 과정은 여전히 숙제로 남아있습니다. 이러한 한계를 극복하기 위해, AI 모델의 투명성, 신뢰성, 책임성을 높이는 설명 가능 인공지능(Explainable Artificial Intelligence, XAI)이 FL과 만나 연합 설명 가능 인공지능(Federated Explainable Artificial Intelligence, FedXAI)이라는 새로운 패러다임을 형성하고 있습니다.
최근 발표된 한 연구 논문은 FedXAI의 역할, 아키텍처, 평가 방법 및 당면 과제를 체계적으로 분석하며, 설명 가능성이 단순히 사후 분석 도구가 아닌 FL 생명주기의 필수적인 요소로 진화하고 있음을 강조합니다. 이 논문은 설명 가능성이 모델 집계(aggregation), 개인화(personalization), 견고성(robustness), 조정(coordination) 및 시스템 수준의 의사 결정에 어떻게 기여하는지 보여줍니다. 또한, FedXAI 방법론을 설명 가능성의 역할, 모델 및 설명자 유형, 설명 범위, 통합 수준, FL 설정, 데이터 이질성(heterogeneity) 등 다양한 기준으로 분류하는 분류 체계(taxonomy)를 제시하여 관련 연구를 정리했습니다. 모델에 구애받지 않는(model-agnostic) 설명 방식부터 해석 가능한 연합 모델, 그리고 설명 가능성을 고려한 집계 메커니즘에 이르기까지 다양한 접근 방식을 검토합니다.
FedXAI는 개인 정보 보호와 AI 모델의 투명성을 동시에 만족시켜, 특히 의료, 금융 등 고위험 분야에서 AI 시스템에 대한 신뢰를 구축하는 데 핵심적인 역할을 할 수 있습니다. 이 기술은 사용자가 AI의 결정을 이해하고 수용하도록 돕고, 개발자가 모델의 편향이나 오류를 식별하고 개선하는 데 기여합니다. 하지만 연구는 비독립동일분포(non-IID) 데이터 환경에서의 설명 가능성, 설명 중심의 보안 위협, 통신 효율적인 XAI, 지속적인 FedXAI, 그리고 도메인 지식 및 규제 제약 통합 등 여러 도전 과제도 지적합니다. 표준화된 벤치마크와 평가 지표의 부족 또한 설명 품질, 안정성, 프라이버시 유출, 계산 오버헤드 등을 측정하는 데 어려움을 야기하고 있습니다. 이러한 과제들을 해결함으로써 FedXAI는 신뢰할 수 있고 투명하며 프라이버시를 보호하는 연합 AI 시스템을 설계하기 위한 중요한 참조 프레임워크가 될 것입니다.