기계 학습(ML) 모델이 특정 결정을 내린 이유를 설명하는 것은 인공지능(AI)의 신뢰성을 높이는 데 매우 중요합니다. 특히, '만약 입력값이 이렇게 바뀌었다면 모델의 결정이 달라졌을 것'이라는 반사실적 설명(counterfactual explanations)은 모델의 작동 방식을 이해하고 개선하는 데 유용합니다. 하지만 기존의 많은 방법론은 예측을 변경하는 데는 성공했지만, 현실 세계에서는 불가능하거나 실행하기 어려운 대안을 제시하는 경우가 많아 실제 활용에 한계가 있었습니다.
이러한 문제를 해결하기 위해 파벨 이아코베츠(Pavel Iakovets) 연구진은 'PACE'라는 모듈형 신경-기호(neuro-symbolic) 프레임워크를 제안했습니다. PACE는 데이터 기반의 예측 모델과 인간이 이해할 수 있는 규칙 및 실행 가능한 행동을 나타낼 수 있는 기호 추론(symbolic reasoning)을 결합합니다. 이 프레임워크는 예측과 추론을 두 가지 구성 요소로 분리하는데, 하나는 분류를 위한 신경 예측 모델이고 다른 하나는 반사실적 설명 생성 시 도메인별 제약 조건을 적용하는 기호 추론 계층입니다. 예를 들어, 성인 소득 데이터셋(Adult Income dataset)에 대한 사례 연구에서 다층 퍼셉트론(multilayer perceptron) 분류기와 함께 교육, 직업, 근무 시간 등 변경 가능한 속성에 대한 규칙을 인코딩하는 답변 집합 프로그래밍(Answer Set Programming, ASP)을 사용하여 현실적인 설명을 생성했습니다.
PACE 프레임워크는 모델에 구애받지 않고 다양한 도메인에 적용할 수 있어, 현실적인 의사결정 지원이 필요한 분야에서 큰 잠재력을 가집니다. 이는 AI 설명의 타당성(plausibility)과 실행 가능성(actionability) 사이의 균형을 맞추며, 도메인별 제약 조건을 명시적으로 모델링함으로써 기존 방법론의 한계를 극복합니다. 결과적으로, 이 접근 방식은 설명 가능한 AI(Explainable AI, XAI) 분야에서 투명하고 현실적인 반사실적 설명을 제공하는 데 중요한 진전을 의미하며, AI 시스템의 신뢰성과 실제 적용 가능성을 높이는 데 기여할 것입니다.