인공지능(AI) 모델의 의사결정 과정을 투명하게 설명하는 것은 매우 중요합니다. 개념 병목 모델(Concept Bottleneck Models, CBM)은 이러한 설명 가능성(interpretability)을 높이기 위해, AI가 최종 예측을 내리기 전에 '개념'이라는 중간 단계를 거치도록 설계된 프레임워크입니다. 예를 들어, AI가 '새'를 인식할 때 '부리', '날개', '깃털'과 같은 개념들을 먼저 파악하고 이를 기반으로 최종 판단을 내리는 방식입니다. 이를 통해 사용자는 AI가 어떤 개념을 바탕으로 예측했는지 이해하고, 필요하다면 특정 개념 정보를 수정하여 AI의 행동에 개입(intervention)할 수도 있습니다.
기존 CBM은 풍부한 개념 표현, 불확실성 추정, 개념 간의 의존성 모델링 등 다양한 개선이 이루어졌습니다. 하지만 개념 상태가 신뢰할 수 없을 때, 즉 특정 개념 정보가 부정확하거나 누락되었을 때 강건하게 추론하는 능력은 여전히 미흡했습니다. 예를 들어, '부리'라는 개념이 잘못 인식되면, 이 잘못된 정보가 전체 예측 과정에 전파되어 설명의 신뢰성과 최종 예측 정확도를 모두 떨어뜨릴 수 있습니다. 이러한 문제를 해결하기 위해, 최근 An Sui 외 연구진은 'ReCBM(Uncertainty-Gated Relational Reasoning for Concept Bottleneck Models)'이라는 새로운 프레임워크를 제안했습니다. ReCBM은 개념 간의 의미론적 관계를 병목 계층에 도입하고, 불확실성을 활용하여 이 관계를 정교하게 다듬는 것이 핵심입니다.
ReCBM은 개념 간의 '공존(co-occurrence)', '함의(implication)', '배제(exclusion)'와 같은 관계를 모델링하여, 개념들 사이에 증거가 어떻게 교환되어야 하는지 명확히 합니다. 예를 들어, '날개'와 '깃털'은 공존 관계이고, '날개'가 있다면 '비행 능력'을 함의할 수 있으며, '날개'와 '지느러미'는 배제 관계일 수 있습니다. 이 과정에서 각 개념의 '불확실성'이 중요한 역할을 합니다. 불확실성이 높은 개념의 기여도는 낮추고, 신뢰도 높은 개념의 기여도는 높여 추론 과정을 조절하는 것입니다. 다양한 데이터셋을 활용한 실험 결과, ReCBM은 개념이 누락되거나 잘못된 경우에도 개념 복구 및 최종 과제 수행 능력을 향상시켰으며, 불확실성을 인지한 개입을 지원하고, 다운스트림 성능 저하 없이 작업 관련 개념의 핵심 부분집합을 추출하는 능력을 보여주었습니다. 이는 AI가 더욱 신뢰할 수 있는 설명을 제공하고, 사용자가 AI의 판단 과정을 더 효과적으로 이해하고 제어할 수 있게 돕는 중요한 진전입니다.