동적 그래프(dynamic graph)에서 이상 징후를 탐지하는 딥러닝(deep learning) 모델은 높은 정확도를 자랑하지만, 탐지된 이상 징후에 대해 '왜' 이상하다고 판단했는지 그 이유를 설명하지 못하는 고질적인 문제가 있었습니다. 특히 협력적이고 규제가 엄격한 정보 시스템에서는 자동화된 결정에 대한 감사(audit)와 신뢰성(trustworthiness)이 필수적이므로, 이러한 설명 불가능성(opacity)은 심각한 제약으로 작용했습니다. 최근 발표된 연구는 이러한 간극을 메우기 위해 AddGraph라는 그래프 합성곱 네트워크(GCN)와 순환 신경망(GRU) 기반의 이상 탐지 프레임워크에 설명 가능성(explainability)을 부여하는 새로운 접근 방식을 제시했습니다.
이 연구팀은 X-AddGraph라는 엄격한 사후 설명 가능성(post-hoc explainability) 프레임워크를 개발했습니다. 이 프레임워크의 핵심은 '이중 시공간 귀인(Dual Spatial-Temporal Attribution, DSTA)' 메커니즘입니다. DSTA는 AddGraph의 세 가지 아키텍처 모듈에 맞춰 설계된 세 가지 구성 요소를 가집니다. 첫째, 현재 인접 구조에 대한 기울기 기반 관련성 귀인(gradient-based relevance attribution)을 통해 공간적(spatial) 설명을 제공합니다. 둘째, 추론(inference) 과정에서 이미 계산된 문맥 어텐션(contextual attention) 가중치를 직접 읽어 단기적인 시간적(short-term temporal) 설명을 추가 비용 없이 제공합니다. 셋째, 순환 은닉 상태(recurrent hidden states)를 통한 기울기 롤백(gradient rollback)으로 장기적인 시간적(long-term temporal) 설명을 가능하게 합니다. 이 방법은 탐지기가 고정된 상태에서 작동하므로, 기존 탐지 성능(AUC)을 정확히 유지하면서 설명 기능을 추가합니다.
X-AddGraph의 등장은 규제 산업에서 인공지능(AI) 모델의 적용 가능성을 크게 확장할 잠재력을 가집니다. 금융 사기 탐지, 네트워크 침입 탐지, 의료 진단 등 고위험 분야에서는 AI의 결정이 단순한 점수 제공을 넘어, 그 결정의 근거를 명확히 제시해야 합니다. X-AddGraph는 '무엇이' 이상한지뿐만 아니라 '왜' 이상한지, 그리고 '언제부터' 이상 징후가 시작되었는지에 대한 시공간적 맥락을 제공함으로써, 분석가들이 이상 징후의 본질을 더 깊이 이해하고 적절한 조치를 취할 수 있도록 돕습니다. 이는 AI 시스템에 대한 신뢰를 구축하고, 규제 준수(compliance)를 용이하게 하며, 궁극적으로 AI 기술의 사회적 수용성을 높이는 데 기여할 것입니다.