최근 인공지능(AI) 연구에서 대규모 언어모델(LLM)이 법적 책임 판단(liability adjudication)과 같은 고도의 전문성을 요구하는 분야에서 잠재력을 인정받고 있습니다. LLM은 특정 상황에 대한 설명을 분석하고 도메인별 '기술(skill)'을 활용하여 어떤 당사자가 책임을 져야 하는지 추론하는 데 사용될 수 있습니다. 이는 기존 방식보다 더 해석 가능한(interpretable) 추론 과정을 제공한다는 장점이 있습니다.
그러나 기존 LLM 기반 접근 방식에는 세 가지 주요 한계가 있었습니다. 첫째, 실제 시나리오가 끊임없이 변화함에 따라 LLM이 사용하는 '기술 라이브러리(skill library)'가 빠르게 구식이 됩니다. 둘째, '기술 설명(skill description)'이 전문가의 의도와 다르게 해석되는 '의미론적 실행 격차(semantic execution gap)'가 발생하여 LLM이 예상과 다른 판단을 내릴 수 있습니다. 셋째, 방대한 '기술 컬렉션(skill collection)'이 LLM의 '컨텍스트 예산(context budget)'을 초과하여 중요한 기술이 누락되는 문제가 발생합니다. 이 문제를 해결하기 위해 중국 연구진은 '지식-데이터 이중 구동 자동 기술 최적화(Knowledge-Data Dual-Driven Automated Skill Optimization, KDASO)'라는 새로운 프레임워크를 제안했습니다. KDASO는 최신 판결 데이터에서 '이웃 조건부 유도(neighborhood-conditioned induction)'를 통해 기술 라이브러리를 지속적으로 업데이트하고, LLM의 추론 과정을 분석하여 전문가 의도에 맞게 기술을 '실행 정렬 정제(execution-aligned refinement)'하며, '컨텍스트 예산' 내에서 가장 적합한 기술을 선택하는 '경로 지정(routing)' 기능을 포함합니다.
KDASO는 차량 호출 서비스 분쟁 조정, 법적 책임 결정, 논리적 추론 판단 등 다양한 실험에서 기존의 일반 목적 및 도메인별 기준 모델보다 훨씬 뛰어난 성능을 보였습니다. 특히, 개념적으로 유사한 시나리오에 기술을 이전(transfer)할 때 8.96%의 성능 향상을 달성했으며, 지속적인 최적화를 통해 일관된 성능 향상을 유지하여 생성된 기술의 높은 '전이성(transferability)'과 '안정성(stability)'을 입증했습니다. 이는 LLM이 법률과 같은 복잡하고 변화무쌍한 도메인에서 더욱 신뢰할 수 있는 도구로 발전할 수 있음을 시사하며, 법률 전문가의 업무 효율성을 높이고 일반 대중의 법률 접근성을 개선하는 데 기여할 수 있습니다.