기계가 법률 조항을 해석하고 분석하는 시대가 빠르게 도래하고 있지만, 이 과정에서 AI 파서(parser)들 간의 해석 불일치 문제가 심각하다는 연구 결과가 나왔습니다. 예를 들어, 미주리주의 법률 조항을 분석했을 때, 두 개의 독립적인 추출기(extractor)가 수치 임계값(numeric-threshold) 존재 여부에서 43%의 오탐율(false-negative rate)로 서로 다른 결과를 보였습니다. 이러한 불일치는 AI 기반 법률 시스템의 신뢰성을 저해하는 주요 요인으로 지적됩니다.
이 문제를 해결하기 위해 Surya Saka 연구원은 '생존 인증서(survival certificate)'라는 새로운 개념을 제안했습니다. 이 인증서는 기계가 추출한 법률 맥락(statutory contexts)의 함의 기반(implication basis)에 대해 작동하며, 파서 간의 불일치 정도를 측정하고 몬테카를로 시뮬레이션(Monte Carlo trials)을 통해 해당 함의가 얼마나 살아남는지(survive)를 평가합니다. 1,000번의 시뮬레이션 후, 윌슨 95% 하한선(Wilson 95% lower bound)이 0.95에 도달할 때만 해당 함의를 '인증'하여 신뢰할 수 있는 법률 논리로 간주합니다. 이 방법은 29,365개의 미주리주 법률 섹션과 502개의 인도 중앙 법률 섹션에 적용되어 유효성을 검증했습니다.
이 '생존 인증서'는 법률 AI 분야에 중요한 의미를 가집니다. AI가 법률 문서를 정확하게 이해하고 해석하는 능력은 법률 연구, 규제 준수(compliance), 계약 분석 등 다양한 법률 서비스의 자동화 및 효율성 증대에 필수적입니다. 이 기술은 AI 시스템이 법률 텍스트에서 추출한 정보의 신뢰도를 객관적으로 평가하고 보증할 수 있는 프레임워크를 제공함으로써, 법률 전문가들이 AI의 분석 결과를 더 확신하고 활용할 수 있게 돕습니다. 다만, 연구팀은 이 인증서가 '사용 가능하지만 취약하다(usable but fragile)'고 언급하며, 각 챕터별로 보정(per-chapter-calibrated)하거나 오류 허용 범위(error-tolerant)를 넓혀 적용해야 한다고 조언했습니다. 이는 AI 기반 법률 시스템이 실제 법률 환경에 적용되기 위해서는 여전히 섬세한 접근과 지속적인 개선이 필요함을 시사합니다.