대규모 언어 모델(LLM) 기반 에이전트의 성능을 평가하는 것은 점점 더 중요해지고 있지만, 실제 환경에서의 보상(reward)을 얻는 것은 비용이 많이 들고 시간이 오래 걸리거나 배포 시점에는 불가능한 경우가 많습니다. 이 때문에 많은 경우 두 번째 LLM을 자동 평가자(judge)로 활용하는데, 기존 방식들은 에이전트가 유창하게 답변했더라도 실제로는 목표 달성에 실패한 경우까지 성공으로 잘못 판단하는 '과대평가(over-crediting)' 문제를 겪어왔습니다.
아일랜드 연구진이 제안한 'RubricForge'는 이러한 문제를 해결하기 위해 새로운 접근 방식을 사용합니다. 기존 평가 방식인 G-Eval처럼 사람이 직접 평가 기준(scoring rubric)을 작성하거나, 평가 모델의 가중치(weights)를 미세조정(fine-tuning)하는 대신, RubricForge는 소수의 실제 결과(ground-truth-labeled trajectories) 데이터를 기반으로 에이전트 평가 기준 텍스트를 자동으로 생성합니다. 이 과정에서 '반성적 진화(reflective evolution)'라는 방법을 통해 실제 환경 보상과 가장 잘 일치하는 평가 기준을 찾아내고, 이를 고정(freeze)하여 다른 에이전트 평가에 적용합니다. 이 평가 기준은 사람이 읽을 수 있는 텍스트 형태이므로, 모든 평가 결과에 대한 근거를 명확히 확인할 수 있다는 장점이 있습니다.
연구진은 7B 규모의 모델 하나를 에이전트와 평가자로 모두 사용하여 tau-bench(173개 궤적)와 WebShop(160개 궤적) 데이터셋에서 RubricForge를 테스트했습니다. 그 결과, RubricForge는 기존 G-Eval 방식과 비교했을 때 전반적인 일치도에서는 큰 차이를 보이지 않았지만, 실패한 궤적을 성공으로 잘못 판단하는 '오탐율(false-pass rate)'을 약 절반 수준(tau-bench에서 0.173에서 0.115로)으로 줄였습니다. 이는 에이전트 배포 시 치명적인 오류로 이어질 수 있는 '실패를 성공으로 오인하는' 문제를 효과적으로 줄였다는 점에서 중요한 의미를 가집니다. 즉, 배포 가능한 에이전트를 만들기 위해서는 전체적인 정확도보다 '오탐율'을 줄이는 것이 훨씬 더 중요하며, RubricForge가 이 부분에서 강점을 보인 것입니다. 이는 LLM 에이전트의 신뢰성을 높이고 실제 서비스에 적용할 때 발생할 수 있는 위험을 줄이는 데 기여할 것으로 기대됩니다.