대규모 언어모델(LLM)의 팩트체킹(fact-checking) 정확도가 높아지고 있지만, 모든 주장에 대해 참/거짓으로 이분법적인 결정을 강요하는 방식은 신뢰성 문제를 야기합니다. 증거가 불충분하거나 모순될 때도 AI가 확신에 찬 답변을 내놓을 수 있기 때문입니다. 이러한 문제를 해결하기 위해, 새로운 '선택적 팩트체킹(selective fact-checking)' 프레임워크인 '증거 사슬 평가(Evidence Chain Evaluation, ECE)'가 등장했습니다.
ECE는 단순히 참/거짓을 판단하는 대신, 불확실한 주장에 대해서는 '판단 유보(abstention)'를 허용합니다. 이 시스템은 웹 검색, 학술 검색, 실행 가능한 검사 등 다양한 도구를 활용하여 증거를 수집하는 검증 에이전트(verification agent)로 작동합니다. 수집된 증거의 신뢰도를 평가하여, 증거가 약하거나 일관성이 없을 경우 '불확실' 판정을 내리고 판단을 보류합니다. ECE-Bench 데이터셋에서 ECE는 91.6%의 표준 정확도와 97.8%의 선택적 정확도(답변된 주장에 한해)를 달성했으며, 총 95개 사례 중 6개는 판단을 유보했습니다. 특히 유보된 사례의 대부분(6개 중 5개)은 증거 신뢰도가 낮은 경우에 집중되어, 약한 증거에 대한 안전 장치 역할을 효과적으로 수행함을 보여주었습니다.
이러한 접근 방식은 LLM 기반 팩트체킹 시스템의 실질적인 신뢰도를 크게 향상시킬 수 있습니다. 기존 시스템이 잘못된 정보를 확신에 차서 전달할 위험을 줄이고, 사용자가 AI의 답변을 더 신뢰할 수 있게 만듭니다. 궁극적으로 이는 AI가 생성하는 정보의 품질을 높이고, 허위 정보(disinformation) 확산을 억제하는 데 기여할 것입니다. AI의 판단 유보 능력은 단순한 정확도를 넘어, 인간과 유사한 비판적 사고와 불확실성 인지 능력을 AI에 부여하는 중요한 단계로 평가됩니다.