최근 발표된 연구에 따르면, 대규모 언어모델(LLM)이 복잡한 금융 계산 질의응답에서 겪는 정확도 문제를 해결하기 위한 새로운 접근 방식인 CIFQA(Calculation-Intensive Financial Query Answering) 프레임워크가 제안되었습니다. LLM은 자연어 처리 능력은 뛰어나지만, 구조화된 금리, 기간 조건, 수치 공식, 규칙 기반 제약 등 계산 집약적인 금융 질문에 대해서는 그럴듯하지만 수치적으로 틀린 답변을 내놓는 경우가 많았습니다. CIFQA는 이러한 한계를 극복하기 위해 결정론적 도구 기반의 다중 에이전트 LLM 프레임워크를 도입했습니다.
CIFQA는 언어 이해와 수치 실행을 명확히 분리하여, 질의 해석, 라우팅, 매개변수 추출, 계산 계획 수립, 응답 생성 등 각 단계에 특화된 에이전트를 할당합니다. 실제 금융 계산과 규칙 적용은 결정론적인 파이썬(Python) 기반 도구가 수행하도록 설계되었습니다. 연구팀은 이 프레임워크를 정기예금(fixed deposit) 질의응답에 적용하여 평가했으며, 계산 집약적인 질의에서 95.54%, 전체 질의에서 90.87%의 높은 정확도를 기록했습니다. 이는 완전한 공식과 금리표, 벤치마크 지침이 제공된 경우에도 직접적인 LLM 기반 모델보다 훨씬 뛰어난 성능입니다. 특히, 17B 규모의 오픈소스 백본 모델이 CIFQA 내에서 훨씬 큰 최신 모델들보다 우수한 성능을 보였는데, 이는 모델 규모보다 아키텍처 설계가 수치적 신뢰성에 더 중요함을 시사합니다.
이 연구는 LLM이 금융 분야에서 보다 신뢰성 있게 활용될 수 있는 중요한 기반을 마련했습니다. 금융 서비스는 정확한 계산과 엄격한 규정 준수가 필수적이므로, LLM의 환각(hallucination) 문제와 수치적 부정확성은 큰 걸림돌이었습니다. CIFQA와 같은 프레임워크는 LLM의 강력한 자연어 이해 능력을 활용하면서도, 계산의 정확성을 보장함으로써 금융 상담, 상품 추천, 리스크 분석 등 다양한 영역에서 LLM의 적용 범위를 확장할 수 있습니다. 비록 정기예금 질의에 초점을 맞췄지만, 이 프레임워크는 계산 집약적인 다른 금융 추론 작업에도 일반화될 수 있는 잠재력을 가지고 있습니다.