사전 학습된 인공지능(AI) 모델은 새로운 환경에 배포될 때 데이터 분포 변화(distributional shift)로 인해 정확도가 급격히 저하되는 문제가 있습니다. 단순히 여러 모델의 결과를 다수결(majority voting) 방식으로 조합하는 것은 정밀도(precision)를 높이는 대신 재현율(recall)을 희생하며, 특정 오류가 동시에 발생할 경우 매우 취약해지는 한계가 있었습니다. 이러한 문제를 해결하기 위해, 최근 아리조나 주립대학교(Arizona State University) 연구진은 도메인 지식 없이도 AI 모델의 오류를 효과적으로 감지하고 보정하는 새로운 메타인지(metacognitive) 접근 방식을 제안했습니다.
기존의 메타인지 방식은 모델의 오류를 찾아내기 위해 객체 크기나 분할 마스크(segmentation mask)와 같은 수작업으로 입력된 도메인 지식에 의존했습니다. 하지만 이 방식은 완전히 새로운 장면에서는 적용하기 어렵다는 단점이 있었습니다. 이번 연구는 각 모델의 훈련 임베딩(training embedding)에서 생성된 '레이블 벡터 풀(Label Vector Pools, LVP)'을 활용하여, 벡터 공간 기하학(vector-space geometry)을 통해 도메인 지식 없이도 오류 감지 규칙을 학습할 수 있음을 보여주었습니다. 이 기하학적 규칙은 기존의 도메인 지식 기반 규칙과 거의 동등한 F1 점수(0.002 이내)를 달성했으며, 여러 비전 트랜스포머(ViT) 기반 탐지기들의 결과를 일관성 기반의 귀추적 융합(abductive fusion) 문제로 정의하고, 정수 계획법(Integer Program, IP) 또는 다항 시간 휴리스틱(polynomial-time heuristic)으로 해결합니다.
이 새로운 접근 방식은 특히 적대적 공격(adversarial attack) 상황에서 강력한 성능을 발휘합니다. 15개의 날씨 변화가 적용된 테스트 세트와 6개의 ViT 탐지기를 사용한 항공 이미지 벤치마크에서, 이 도메인 지식 없는 레이어는 깨끗한 데이터(clean data)에서는 가장 강력한 다수결 방식과 유사한 성능(0.005 F1 이내)을 보였습니다. 하지만 레이블 뒤집기 공격(label-flipping attack)이 90% 발생했을 때, 기존 다수결 방식이 0.35 F1에 그친 반면, 이 방식은 0.42 F1을 기록하며 22%의 상대적 성능 향상을 달성했습니다. 이는 AI 시스템의 신뢰성과 견고성을 크게 높일 수 있는 중요한 진전으로, 특히 자율주행, 국방, 보안 등 고위험 응용 분야에서 AI 모델의 안정적인 배포에 기여할 것으로 기대됩니다.