LLM(대규모 언어모델) 에이전트의 성능 향상에 있어 장기 기억(long-term memory)은 중요한 요소로 꼽히지만, 실제로 이 기억이 에이전트의 작업 수행에 얼마나 도움이 되고 비용 효율적인지는 명확히 밝혀지지 않았습니다. 기존의 기억력 평가는 주로 대화 기록을 얼마나 잘 회상하는지에 초점을 맞췄을 뿐, 에이전트가 기억된 사실을 바탕으로 행동을 변화시키는지, 그리고 그 과정에서 발생하는 비용은 어떠한지에 대한 분석은 부족했습니다. 이러한 한계를 극복하기 위해 새로운 벤치마크 'MERIT(Memory Evaluation for Realistic Instrumented Tasks)'가 등장했습니다.
MERIT는 도구 사용(tool-use) 에이전트의 장기 기억 유용성을 명확한 비용 회계(cost accounting) 아래 측정합니다. 이 벤치마크는 세 가지 도메인에서 에피소드 기반의 도구 사용 작업을 제공하며, 이전 에피소드의 사실에 대한 의존성을 자동화된 누출 검사(leak check)로 확인합니다. 특히, 난이도 조절이 가능한 문제, 의도적인 기억 손상(memory corruption), 그리고 모든 기억 작업에 대한 토큰 및 비용 측정 기능을 포함합니다. 연구진은 총 23,440개의 에피소드에 걸쳐 GPT-4.1, Claude Haiku 4.5 등 다양한 모델을 테스트했으며, 이를 통해 기억이 의존적인 작업의 성공률을 0.00에서 0.55~1.00까지 끌어올리는 것을 확인했습니다.
그러나 모든 기억 방식이 효율적인 것은 아니었습니다. 특히, 업데이트된 사실(updated facts)에 대한 임베딩 검색(embedding retrieval)은 예측 불가능하게 성능이 저하되었고(0.30~0.95), 에이전트가 올바르게 검색된 값에 따라 행동하는 경우는 55%에 불과했습니다. 반면, 쓰기 시 업데이트(update-on-write) 방식을 사용하는 구조화된 사실 저장소(structured fact store)나 LLM 요약(LLM summarization)은 0.70~1.00의 높은 성공률을 유지했습니다. 또한, 기억 구현 방식을 변경하는 것만으로 작업 성공률이 최대 60%까지 달라질 수 있으며, 모든 대화 기록을 다시 재생(full replay)하는 방식은 결코 경제적이지 않다는 점이 밝혀졌습니다. 각 도메인에서 가장 효율적인 조건은 비용 대비 2.7~3.9배의 한계 효용(marginal utility)을 제공했습니다.
이 연구는 LLM 에이전트 개발에 있어 장기 기억의 중요성을 재확인하는 동시에, 무분별한 기억 활용보다는 작업 특성과 비용을 고려한 전략적인 접근이 필수적임을 시사합니다. 특히, 기억 저장 및 검색 방식의 선택이 에이전트의 성능과 경제성에 직접적인 영향을 미친다는 점은 향후 LLM 에이전트 아키텍처 설계에 중요한 지침이 될 것입니다. 개발자들은 단순히 많은 정보를 기억하게 하는 것을 넘어, 어떤 정보를 어떻게 기억하고 언제 활용할 것인지에 대한 깊이 있는 고민이 필요하며, MERIT와 같은 벤치마크는 이러한 최적화 과정을 돕는 유용한 도구가 될 것입니다.