금융 인공지능(AI) 에이전트의 성능을 실제 금융 전문가의 작업물에 기반해 평가하는 새로운 벤치마크 'FinProBench'와 평가 방법론 'RGRC(Role-Grounded Rubric Construction)'가 발표되었습니다. 기존 AI 평가 방식은 주로 주어진 과제 설명이나 AI 모델의 출력물에 초점을 맞춰왔지만, 이번 연구는 실제 전문가가 생산한 결과물에 담긴 암묵적인 표준과 역량을 평가 기준으로 삼아 AI의 실질적인 업무 수행 능력을 더욱 정확하게 측정하고자 합니다.
FinProBench는 57개 직업군, 8개 금융 산업 분야, 161개 산출물 유형을 아우르는 1,723개의 실제 전문가 작업물 데이터를 기반으로 구축되었습니다. RGRC 방법론은 '산출물 수집', '역량 추출', '평가 기준 합성', '검증'의 네 단계를 거쳐 평가 기준(rubric)을 도출합니다. 특히, 이 방법론은 기존에 잘 알려진 '관례적 역할(conventional roles)'에서는 프롬프트 엔지니어링(prompt engineering)만으로도 AI 평가 기준을 근접하게 만들 수 있었지만, '역할 특화된 역할(role-specialized roles)'에서는 전문가의 실제 작업물에서 도출된 평가 기준이 훨씬 우수한 성능을 보였다는 점이 주목할 만합니다. 이는 복잡하고 전문화된 금융 업무일수록 실제 전문가의 노하우를 반영한 평가가 필수적임을 시사합니다.
이번 연구는 금융 AI 에이전트가 단순한 정보 처리 수준을 넘어 실제 금융 전문가처럼 복잡하고 미묘한 업무를 수행할 수 있는지 평가하는 데 중요한 기반을 마련했습니다. 역할 기반의 평가 기준을 재사용함으로써 평가 기준 구축에 드는 노력을 기존 대비 6.7배 절감할 수 있다는 점도 효율성 측면에서 큰 장점입니다. 이는 금융 기관들이 AI를 실제 업무에 도입할 때, AI의 역량을 보다 신뢰성 있게 검증하고 실제 업무에 필요한 미세한 조정(fine-tuning)을 하는 데 크게 기여할 것으로 기대됩니다. 궁극적으로 금융 AI의 신뢰성과 실용성을 높여, 금융 산업 전반의 디지털 전환을 가속화하는 데 중요한 역할을 할 것입니다.