법률 사례 검색(Legal Case Retrieval)은 법률 용어의 복잡성과 질의(query)와 관련 사례 간의 정확한 어휘 일치(lexical alignment) 필요성 때문에 오랫동안 어려운 과제로 남아 있었습니다. 최근 발표된 연구에 따르면, 대규모 언어모델(LLM)을 활용한 '자기 진화 에이전트(Self-Evolving Agent)'가 기존의 BM25 검색 엔진의 성능을 획기적으로 개선하는 새로운 프레임워크를 제시했습니다. 이 방식은 별도의 매개변수 훈련(parameter training) 없이도 검색 정확도를 높일 수 있어 주목받고 있습니다.
이 프레임워크는 LLM 기반 에이전트가 자동 평가 환경을 통해 스스로 질의 재작성(query rewriting) 규칙을 생성하고, 다양한 규칙 조합에 대한 검증 실험을 계획하며, 과거 피드백을 바탕으로 비효율적인 규칙을 제거하는 방식으로 작동합니다. 연구팀은 중국 법률 사례 검색 벤치마크인 LeCaRD-v2에서 이 방법을 평가했으며, 그 결과 인간이 설계한 규칙이나 탐욕적 규칙 선택(greedy rule selection)과 같은 비진화적 기준선(non-evolutionary baselines)을 뛰어넘는 성능을 보였습니다. 특히 고용량 코어 LLM(high-capacity core LLM)이 사용될 때 성능 향상이 두드러졌습니다.
이 연구는 LLM이 이전 실험 결과를 활용하는 능력과 규칙 제거에 대한 내재적 지식(intrinsic knowledge)이 자기 진화(self-evolution)를 통해 규칙 세트를 정교하게 다듬는 데 결정적인 역할을 한다는 것을 밝혀냈습니다. 이는 법률 전문가들이 방대한 법률 문서를 보다 효율적으로 검색하고 분석할 수 있게 함으로써, 법률 서비스의 질을 높이고 접근성을 개선하는 데 크게 기여할 수 있습니다. 또한, LLM이 단순히 정보를 생성하는 것을 넘어, 스스로 학습하고 최적화하는 에이전트로서의 잠재력을 보여주며 다양한 전문 분야에서의 활용 가능성을 시사합니다.