최근 인공지능(AI) 기술이 법률 분야에 빠르게 도입되면서, AI의 신뢰성과 정확성에 대한 우려가 커지고 있습니다. 이러한 배경 속에서 법률 기술 스타트업 리트코(Litco)가 소송 업무에 특화된 AI 성능 평가 벤치마크인 리티게이션벤치(LitigationBench)를 공개했습니다. 이 벤치마크는 AI가 법률 문서를 얼마나 정확하게 이해하고, 판례를 올바르게 적용하며, 실제 소송 문서를 작성할 수 있는지를 다각도로 평가합니다.
리티게이션벤치는 AI 모델이 법률 자료를 '환각'하는 현상, 즉 존재하지 않는 판례나 법률 조항을 지어내는 문제, 기존 판례를 잘못 해석하는 오류, 그리고 소송 관련 문서 초안 작성 능력 등을 중점적으로 테스트합니다. 특히, 앤트로픽(Anthropic)의 모델들(하쿠(Haiku) 제외)이 환각 현상 없이 뛰어난 성능을 보였다는 점이 흥미로운 결과로 나타났습니다. 벤치마크는 리트코의 자체 안전장치(safeguards) 적용 여부에 따른 AI 성능 변화도 함께 측정하여, 안전장치가 AI의 오류를 얼마나 효과적으로 줄이는지 보여줍니다. 비용 효율성 측면에서도 각 모델의 작업당 비용을 함께 공개하여, 성능과 비용을 종합적으로 고려할 수 있도록 돕습니다.
이 벤치마크는 법률 분야에서 AI를 활용하려는 기업과 법률 전문가들에게 매우 중요한 의미를 가집니다. AI의 법률 업무 도입이 가속화되는 상황에서, 리티게이션벤치는 AI 모델의 실제 업무 적용 가능성과 신뢰성을 객관적으로 평가할 수 있는 기준을 제시합니다. 특히, AI의 치명적인 약점인 환각 현상을 줄이는 것이 법률 AI의 핵심 과제임을 명확히 보여주며, 이를 극복하기 위한 기술 개발의 중요성을 강조합니다. 이처럼 검증된 AI는 법률 리서치, 문서 작성 등 반복적이고 시간이 많이 소요되는 업무를 효율화하여 법률 서비스의 접근성을 높이고 비용을 절감하는 데 기여할 수 있을 것입니다.