다중 모드 이상 탐지(Multi-Modal Anomaly Detection, MMAD)는 서로 다른 유형의 데이터(예: 이미지, 텍스트, 센서 데이터)에서 드물게 발생하는 비정상적인 사건을 감지하는 기술입니다. 이 기술은 산업 현장의 결함 검사, 사이버 보안 위협 탐지, 의료 진단 등 안전과 신뢰성이 중요한 분야에서 그 활용도가 빠르게 증가하고 있습니다. 최근 arXiv에 발표된 한 연구는 파편화된 MMAD 연구 분야를 체계적으로 정리하고 미래 방향을 제시하여 주목받고 있습니다.
이 연구는 MMAD의 핵심 과제를 해결하는 다섯 가지 본질적인 특성을 식별하고, 기존 연구를 두 가지 상호 보완적인 패러다임으로 분류합니다. 첫 번째는 '정상 가정 방법(normality-assumption methods)'으로, 표현 학습(representation learning), 교차 모드 정렬(cross-modal alignment), 지식 강화(knowledge enhancement)를 통해 정상적인 패턴을 모델링합니다. 두 번째는 '이상 가정 방법(anomaly-assumption methods)'으로, 거친 수준(coarse-grained), 구조적(structural), 의미론적(semantic) 이상 주입(anomaly injection)을 통해 결정 경계(decision boundary)를 명확히 합니다. 또한, 연구는 파운데이션 모델(Foundation Model)이 확장 가능한 사전 학습(pretraining), 유연한 교차 모드 전이(cross-modal transfer), 새로운 추론(reasoning) 능력으로 MMAD 분야를 어떻게 변화시키고 있는지도 심층적으로 탐구합니다.
이번 조사는 MMAD 분야의 복잡성을 해소하고 연구자들이 핵심 개념을 이해하는 데 큰 도움을 줄 것으로 기대됩니다. 특히 파운데이션 모델의 등장은 MMAD 시스템의 견고성(robustness), 적응성(adaptability), 해석 가능성(interpretability)을 크게 향상시킬 잠재력을 가지고 있습니다. 이는 다양한 산업 분야에서 더욱 정교하고 신뢰할 수 있는 이상 탐지 시스템을 구축하는 데 중요한 기반이 될 것입니다. 연구는 대표적인 벤치마크와 평가 프로토콜을 정리하고, 향후 연구를 위한 개방형 문제와 방향을 제시하며 이 분야의 발전을 촉진할 것입니다.