대규모 언어모델(LLM) 기반의 인공지능 에이전트가 금융 자문과 같은 고위험 분야에서 개인 비서로 활용되는 사례가 늘고 있지만, 과연 이들이 장기적으로 사용자 개개인의 특성을 기억하고 선호도를 업데이트할 수 있을지에 대한 의문이 제기되고 있습니다. 최근 발표된 FinPerMA(Financial Personalized Memory Agent) 연구는 이러한 LLM 에이전트의 '개인화된 기억력' 성능을 평가하기 위한 새로운 벤치마크를 제시하며, 현재 LLM들이 이 분야에서 아직 갈 길이 멀다는 점을 시사합니다.
FinPerMA는 기존의 단순 사실 기억력 테스트나 모델이 생성한 가상 시나리오와 달리, 실제 투자자들의 장기적인 행동 궤적을 기반으로 설계되었습니다. 이 벤치마크는 결정론적인 이론 기반의 영향 규칙, LLM을 활용한 내러티브 생성, 그리고 자동화된 품질 검증 파이프라인을 결합하여 데이터를 구축합니다. 특히 '충격 후 체크포인트(Post-Shock checkpoint)'라는 개념을 도입하여, 중요한 사건(예: 시장 급변) 발생 후 에이전트가 사용자 모델에 해당 이벤트를 제대로 통합했는지 여부를 평가하는 데 중점을 둡니다. 276개 페르소나에 대한 2,994개 질문으로 7가지 최신 LLM과 다양한 메모리 구성을 테스트한 결과, 전체 정확도는 약 0.47, 객관식 질문에서는 약 39%에 불과하여 현저히 낮은 성능을 보였습니다.
이번 연구는 LLM 에이전트가 단순한 정보 요약으로는 개인화에 필요한 선호도 신호를 놓치기 쉽다는 점을 명확히 보여줍니다. 특히 시장 충격과 같은 중요한 이벤트 발생 후에는 이러한 격차가 더욱 벌어지며, 때로는 정교하게 설계된 메모리 시스템보다 단순한 정보 검색 방식이 더 나은 성능을 보이기도 했습니다. 이는 현재 LLM 에이전트가 사용자의 복잡한 감정이나 변화하는 선호도를 장기적으로 이해하고 반영하는 데 근본적인 한계가 있음을 의미합니다. 금융 자문과 같이 신뢰와 개인화가 필수적인 분야에서 LLM 에이전트가 진정으로 유용해지려면, 단순한 사실 기억을 넘어 사용자 경험과 맥락을 깊이 이해하고 적응하는 능력을 획기적으로 개선해야 할 것입니다.