러시아 연구진이 코딩 에이전트의 성능을 평가하는 새로운 벤치마크인 '에이전트렌즈(AgentLens)'를 공개했습니다. 기존 평가 방식이 단순히 최종 과제 성공 여부만을 판단했던 것과 달리, 에이전트렌즈는 에이전트가 지시를 따르고, 도구를 사용하며, 스스로 작업을 검증하고, 실수로부터 회복하며 사용자에게 응답하는 전체 과정을 상세하게 평가하는 데 초점을 맞춥니다.
에이전트렌즈는 형식 검증(formal verification)을 통해 객관적인 성공 여부를 확인하는 동시에, 대규모 언어모델(LLM)이 작성한 상세한 작업 과정 리뷰와 사이드바이사이드를 통한 비교 평가를 결합합니다. 이를 통해 각 실행 결과에 대해 점수가 왜 그렇게 나왔는지에 대한 읽기 쉬운 설명을 제공하며, 개발자들이 모델의 행동을 진단하고, 연속적인 버전 간 성능을 비교하며, 제품의 퇴보(regression)를 야간 평가 파이프라인에서 포착하는 데 유용하게 활용될 수 있습니다. 이 벤치마크는 오픈 소스로 공개되어 누구나 접근하고 활용할 수 있습니다.
이러한 종합적인 평가 방식은 코딩 에이전트 개발의 질을 한 단계 높일 수 있습니다. 단순히 '성공/실패'라는 이분법적 결과만으로는 에이전트의 미묘한 동작 방식이나 개선점을 파악하기 어려웠던 한계를 극복하고, 실제 사용자가 에이전트와 상호작용하며 겪는 경험을 반영한 평가를 가능하게 합니다. 이는 개발자들이 보다 견고하고 사용자 친화적인 코딩 에이전트를 만들고, AI 에이전트의 신뢰성과 효율성을 높이는 데 중요한 기여를 할 것으로 기대됩니다.