AI 에이전트의 성능을 좌우하는 핵심 요소 중 하나인 '기억력'을 객관적으로 평가하고 비교할 수 있는 최초의 공개 벤치마크인 '에이전트 메모리 리더보드(AML)'의 첫 평가 결과가 최근 공개되었습니다. 이 벤치마크는 다양한 AI 메모리 시스템의 텍스트 기억 능력을 측정하며, 상업 제품 및 오픈소스 방법론 두 가지 트랙으로 나뉘어 진행되었습니다. 총 136개 팀이 등록하고 69개 대표 메모리 프레임워크가 첫 평가를 완료했습니다.
이번 첫 평가에서는 텍스트 기억력 부문에서 MemoraX가 58.02점으로 상업 제품 중 1위를 차지했으며, MemOS(45.89점), NTES-MEMORY-SMART(44.21점)가 그 뒤를 이었습니다. AML은 '추가(Add) → 검색(Search) → 답변(Answer) → 평가(Eval)'로 이어지는 표준화된 평가 흐름을 도입하여, 각 시스템의 메모리 저장 및 검색 능력을 일관된 방식으로 측정합니다. 특히, 평가에 사용되는 대규모 언어모델(LLM)은 gpt-4o-mini로 통일하여 공정성을 확보했습니다. 이 벤치마크는 긴 문맥, 페르소나, 스크립트, 대화 기억 등 다양한 시나리오에서의 기억 능력을 평가하며, 향후 코딩 에이전트의 기억력 평가 트랙도 추가될 예정입니다.
에이전트 메모리 리더보드의 등장은 AI 에이전트 개발 커뮤니티에 매우 중요한 의미를 가집니다. 그동안 AI 에이전트의 장기 기억 시스템은 성능을 객관적으로 비교하기 어려웠던 영역이었으나, 이번 벤치마크를 통해 개발자들은 자신의 시스템이 어느 정도 수준인지 명확하게 파악하고 개선점을 찾을 수 있게 되었습니다. 이는 AI 에이전트의 신뢰성과 효율성을 높이는 데 기여하며, 궁극적으로 더욱 강력하고 유용한 AI 에이전트의 등장을 촉진할 것으로 기대됩니다. 또한, 투명한 경쟁 환경은 관련 기술 혁신을 가속화하는 동기가 될 것입니다.