장기 기억을 활용하는 인공지능(AI) 에이전트, 즉 '장기 에이전트(long-horizon agent)'는 수백 단계에 걸친 추론, 행동, 관찰 과정을 통해 방대한 데이터를 축적합니다. 이처럼 복잡한 작업에서 특정 질문에 답하려면 과거 기록 깊숙이 묻혀 있는 핵심 증거를 찾아내야 하는데, 기존 시스템은 이 과정에서 비효율성과 정확도 저하 문제를 겪었습니다. 최근 발표된 연구 'MESA(Multi-structure Evidence Selection framework for long-horizon Agent)'는 이러한 문제를 해결하기 위해 작업에 따라 가장 적합한 기억 구조에서 증거를 선별하고 융합하는 새로운 접근 방식을 제안합니다.
기존의 다중 기억 시스템(multi-memory system)은 두 가지 한계가 있었습니다. 첫째, 모든 질문에 대해 고정된 기억 구조 세트를 읽어 불필요한 맥락을 늘리고 노이즈를 유발했습니다. 둘째, 각 질문을 단일 기억 구조로만 라우팅하여 상호 보완적인 증거를 결합하지 못했습니다. MESA 연구팀은 'AMA-Bench'라는 벤치마크를 통해 최적의 기억 구성이 단일 구조나 모든 구조의 조합이 아니라, 질문과 작업 요구사항에 따라 맞춤형으로 구성된 다중 구조 기억의 조합이라는 것을 밝혀냈습니다. MESA는 이러한 발견을 바탕으로, 에이전트의 궤적(trajectory)을 다섯 가지 상호 보완적인 구조적 관점으로 구성하고, 최종 답변 수준의 피드백(end-to-end answer-level feedback)을 통해 질문에 특화된 증거 하위 집합을 선택하고 융합하도록 학습합니다. 약한 감독(weak supervision) 하에서 학습하기 위해 MESA는 '하네스 최적화(harness optimization)' 기법과 'UCB(Upper Confidence Bound) 기반 스케줄링'을 활용하여 탐색과 활용의 균형을 맞춥니다.
이러한 동적 증거 선택 방식은 AI 에이전트의 성능을 크게 향상시킵니다. MESA는 AMA-Bench에서 가장 강력한 기존 모델 대비 8.5% 더 높은 성능을 달성했으며, 동시에 모든 구조를 사용하는 대안 방식보다 41% 더 적은 증거 토큰(evidence token)을 사용했습니다. 이는 AI 에이전트가 더 적은 자원으로 더 정확하고 효율적인 추론을 할 수 있게 됨을 의미합니다. 특히 장기적인 계획이나 복잡한 문제 해결이 필요한 분야에서 MESA와 같은 접근 방식은 AI 에이전트의 실용성을 높이고, 더 정교하고 인간과 유사한 지능형 행동을 가능하게 할 것으로 기대됩니다.