투자 관리와 같은 고위험 금융 분야에서 인공지능(AI) 에이전트의 역할이 점차 중요해지고 있습니다. 하지만 단순히 그럴듯한 텍스트를 생성하는 것을 넘어, 특정 시점의 데이터를 정확히 검색하고, 올바른 계산 입력을 조립하며, 전문화된 메서드를 호출하고, 감사 가능한 구조화된 결과물을 만들어내는 등 복합적인 역량이 요구됩니다. 최근 발표된 '핀스킬벤치(FinSkillBench)'는 이러한 언어 모델(LLM) 기반 AI 에이전트가 투자 관리 작업을 해결하기 위해 금융 도메인 스킬을 얼마나 효과적으로 활용하는지 측정하도록 설계된 새로운 평가 도구입니다.
핀스킬벤치는 포트폴리오 구성(portfolio construction), 위험 관리(risk management), 기본적 분석(fundamental analysis) 세 가지 핵심 도메인을 아우르며, 총 12개의 세부 작업과 2,603개의 작업 에피소드를 포함합니다. 각 에피소드는 특정 시점의 입력값, 숨겨진 정답(ground truth), 그리고 작업별 평가 기준을 제공합니다. 연구진은 세 가지 조건에서 AI 에이전트의 성능을 비교했습니다. 첫째는 '스킬 없음' 조건, 둘째는 절차 문서와 실행 가능한 구성 요소로 이루어진 '큐레이션된 스킬 패키지' 조건, 셋째는 에이전트가 자체적으로 절차를 작성하고 재사용하는 '자체 생성 스킬' 조건입니다. 9개 모델과 대규모 평가를 통해 큐레이션된 스킬이 평균 점수를 0.366에서 0.528로 향상시키며 일관되게 성능을 개선했음을 확인했습니다. 특히 포트폴리오 구성과 위험 관리에서 가장 큰 성과 향상을 보였습니다. 반면, 자체 생성 스킬은 더 높은 계산 비용에도 불구하고 거의 이점을 제공하지 못했습니다.
이러한 결과는 투자 관리 에이전트에서 모델 선택만큼이나 신뢰할 수 있는 절차적 스킬(procedural skills)에 대한 접근이 중요하다는 점을 시사합니다. 즉, AI 에이전트가 복잡한 금융 업무를 수행할 때, 미리 잘 정의되고 검증된 전문 지식과 절차를 제공하는 것이 무작정 에이전트에게 스킬을 자체적으로 생성하도록 하는 것보다 훨씬 효과적이라는 의미입니다. 이는 금융 분야에서 AI를 활용하려는 기업이나 개발자들이 단순히 최신 대규모 언어모델(LLM)을 도입하는 것을 넘어, 해당 도메인에 특화된 정교한 스킬셋을 구축하고 통합하는 데 더 많은 노력을 기울여야 함을 강조합니다. 핀스킬벤치와 관련 도구, 큐레이션된 스킬 패키지, 전체 실행 궤적은 추가 연구를 위해 공개되어, 금융 AI 분야의 발전을 가속화할 것으로 기대됩니다.