대규모 언어모델(LLM) 기반 애플리케이션에서 긴 대화 기록을 처리하는 것은 막대한 비용과 긴 컨텍스트 창(context window)이라는 기술적 한계를 야기합니다. 이러한 문제를 해결하기 위해, LeapMemory는 전체 대화 기록을 LLM에 전달하는 대신, 대화의 핵심 내용만을 추출하여 컨텍스트로 제공하는 새로운 접근 방식을 제안하고 이를 검증하는 오픈 벤치마크를 공개했습니다.
LeapMemory의 벤치마크는 동일한 질문을 두 가지 조건으로 LLM에 던집니다. 첫 번째 조건은 기존 방식대로 전체 대화 기록을 컨텍스트로 붙여넣는 것이고, 두 번째 조건은 LeapMemory를 통해 추출된 '하나의 회상 결과(one recall result)'만을 컨텍스트로 사용하는 것입니다. 클로드 소네트 4.6(Claude Sonnet 4.6) 모델을 사용한 테스트 결과, 59턴의 실제 대화에서 82.6%, 98턴의 합성 대화에서 91.7%, 28턴의 샘플 대화에서 78.2%의 토큰 사용량 절감 효과를 보였습니다. 중요한 점은 이러한 절감에도 불구하고 두 조건 모두 동일한 정확도를 유지했다는 것입니다. 토큰 절감률은 대화 기록이 길어질수록 더욱 커지는데, 이는 전체 기록은 선형적으로 증가하는 반면, LeapMemory의 회상 컨텍스트는 거의 일정하게 유지되기 때문입니다.
이러한 결과는 LLM 기반 서비스의 운영 비용을 획기적으로 줄일 수 있는 잠재력을 시사합니다. 특히 챗봇이나 AI 비서처럼 장기적인 대화가 필요한 애플리케이션에서 컨텍스트 창의 한계를 극복하고 비용 효율성을 높이는 데 크게 기여할 수 있습니다. LeapMemory는 LLM 추출을 통해 지식 그래프를 구축하고, 질문에 따라 관련 사실과 청크(chunk)를 결합하여 컨텍스트를 생성하는 하이브리드 검색 방식을 사용합니다. 이 벤치마크는 누구나 자신의 대화 기록으로 직접 테스트해볼 수 있도록 공개되어 있으며, 향후 추론 및 합성 능력에 대한 장기 기억 평가(LongMemEval)도 계획하고 있습니다.