과학 연구의 필수 요소인 문헌 검토를 자동으로 생성하는 AI 에이전트의 성능을 객관적으로 평가하기 위한 새로운 플랫폼 'LitReview Arena'가 등장했습니다. 기존의 단순 참조 중복(reference-overlap) 측정 방식으로는 문헌 검토의 질을 제대로 평가하기 어려웠던 문제를 해결하기 위해, 이 플랫폼은 전문가의 판단을 중심으로 한 '배틀 스타일' 평가 방식을 도입했습니다. 이는 AI가 생성한 문헌 검토의 실제 연구 활용 가치를 더 정확하게 측정하려는 시도입니다.
LitReview Arena는 AI 논문 작성 경험이 있는 도메인 전문가들이 익명화된 문헌 검토 초안을 비교 평가하는 방식으로 운영됩니다. 전문가들은 자신의 전문 분야에 맞는 주제를 배정받아, 다섯 가지 문헌 검토 특정 기준에 따라 차원별(dimension-wise) 결과를 제공합니다. 약 3,000건의 전문가 평가를 수집한 결과, 현재 가장 강력한 AI 시스템조차 인간이 작성한 초안과의 전체적인 유용성(overall utility) 대결에서 23.0%만 승리하는 것으로 나타났습니다. 특히 Sonar Deep Research와 같은 에이전트형 대규모 언어모델(LLM)은 기본 언어모델보다 60% 이상 뛰어난 성능을 보였지만, 여전히 인간 수준에는 미치지 못했습니다. 또한, 기존의 'LLM-as-a-judge' 방식은 인간 전문가와 평가 일치도(Spearman's rho=0.467)가 낮아, 특히 논문 구조나 연구 제안과 같은 합성(synthesis) 중심 기준에서 큰 차이를 보였습니다.
이 연구는 AI 기반 문헌 검토 에이전트가 아직 인간 전문가의 복합적인 판단과 합성 능력에는 크게 미치지 못한다는 점을 명확히 보여줍니다. 연구팀은 수집된 선호도 데이터를 활용해 인간 전문가와 유사한 평가 일치도(Spearman's rho=0.78)를 보이는 'LitJudge'라는 전문가 보정 평가 도구를 개발했습니다. 이는 향후 AI 문헌 검토 시스템 개발의 방향성을 제시하며, 단순히 정보 검색을 넘어선 심층적인 분석과 합성 능력을 갖춘 AI 개발의 중요성을 강조합니다. LitJudge는 AI 연구 개발자들에게 유용한 평가 기준으로 활용될 수 있을 것입니다.