법률 분야에서 인공지능(AI)의 활용이 늘면서, 사건 결과 예측의 정확도를 높이기 위한 다양한 시도가 이어지고 있습니다. 특히, 증거 그래프(evidence graphs), 베이즈 확률 업데이트(Bayesian odds updating), 뎀스터-셰이퍼(Dempster-Shafer) 결합, 컨포멀 예측(conformal prediction) 등 여러 불확실성 도구를 하나의 파이프라인으로 융합하여 예측 성능을 향상시키려는 제안들이 있었습니다. 하지만 최근 발표된 한 연구는 이러한 접근 방식이 예측 정확도를 높이는 데는 큰 도움이 되지 않으며, 오히려 시스템의 '신뢰도'를 높이는 데 진정한 가치가 있음을 실증적으로 보여주었습니다.
이 연구는 유럽인권재판소(European Court of Human Rights)의 실제 사건 1,000건을 대상으로 진행되었습니다. 연구팀은 클로드 오푸스 4.8(Claude Opus 4.8)과 GPT-5.5 두 가지 최신 대규모 언어모델(LLM)을 활용하여, 재판소가 협약 위반을 발견했는지 여부를 예측했습니다. 비교 대상은 세 가지였습니다. 첫째는 원시 LLM(raw LLM) 자체, 둘째는 LLM을 불확실성 융합 파이프라인에 통과시킨 경우, 셋째는 용어 빈도(term-frequency) 기준 모델을 동일 파이프라인에 통과시킨 경우였습니다. 약 4,750번의 테스트 결과, 예측 정확도(AUROC 약 0.83) 측면에서는 융합 파이프라인이 원시 LLM이나 기준 모델보다 나은 성능을 보이지 않았습니다. 오히려 LLM을 직접 사용하는 것이 가장 강력한 단일 예측기였습니다. 특히 베이즈 확률 및 뎀스터-셰이퍼 융합을 LLM과 결합했을 때, 보정 오류(calibration error, ECE)가 약 0.16에서 0.46으로 두 배 이상 증가하는 문제가 발견되었으며, 뎀스터-셰이퍼 융합은 긴 추론 체인에서 잘못된 레이블에 대해 높은 확신을 보이는 등 불안정한 모습을 보였습니다.
그러나 이 연구는 융합 파이프라인의 진정한 가치가 '운영 효율성'에 있음을 밝혀냈습니다. 뎀스터-셰이퍼를 제외하고 재보정(recalibrating)한 후 컨포멀 선택적 예측(conformal selective-prediction) 계층을 통해 시스템을 운영하자, 자동 처리할 사건과 전문가 검토가 필요한 사건을 효과적으로 분류할 수 있었습니다. 조정된 엔진은 96.8%의 정확도로 사건을 자동 처리했으며, 오류는 0.5%에 불과했고, 96.3%의 오류는 검토를 위해 성공적으로 포착되었습니다. 이는 조정되지 않은 기준선(85.9% 정확도, 3.8% 오류, 72.1% 오류 포착)보다 훨씬 뛰어난 결과입니다. 즉, 법률 AI에서 이러한 파이프라인의 기여는 예측 정확도를 높이는 것이 아니라, 시스템에 대한 '보정된 신뢰(calibrated trust)'를 구축하는 데 있다는 결론입니다. 이는 AI가 모든 것을 완벽하게 예측하기보다, 언제 AI를 신뢰하고 언제 인간 전문가의 개입이 필요한지 명확히 알려주는 것이 중요하다는 시사점을 제공합니다.