대규모 언어모델(LLM)이 긴 대화 맥락을 유지하는 데 어려움을 겪는 이른바 '기억 상실' 문제는 오랜 과제였습니다. 이러한 문제를 해결하기 위해 '제로-토큰 메모리(Zero-Token Memory)'라는 새로운 기술이 공개되었습니다. 이 기술은 LLM이 과거 대화 내용을 모두 기억하려 하지 않고, 현재 대화에 가장 관련성이 높은 부분만 선별적으로 검색하여 전달함으로써 토큰 사용량과 연산 부담을 크게 줄이는 것을 목표로 합니다.
제로-토큰 메모리는 파이(Pi)와 같은 LLM 기반 에이전트의 기존 세션 메시지를 원본 기록으로 활용합니다. 이 시스템은 그래프 기반 및 시간 기반 뷰를 통해 관련성 높은 과거 대화 턴(turn)을 검색하고, 검색된 증거와 현재 턴만을 독해 모델(reader model)에 전송합니다. 특히 스파이(spaCy)로 엔티티(entity)를 추출하고, BGE-M3 모델로 밀집 컨텍스트(dense context), 엔티티 정렬(entity-alignment), 에피소드 연속성 점수(episode-continuity scores)를 계산하여 LLM 호출 없이 관련성을 판단하는 것이 특징입니다. 이는 렉시컬(lexical-only), 시맨틱(semantic-only), 하이브리드(hybrid) 세 가지 검색 모드를 지원하여 유연성을 제공합니다.
이 기술은 LLM의 추론(inference) 비용을 절감하고, 긴 대화에서도 일관성 있는 응답을 유지할 수 있게 해준다는 점에서 중요합니다. 기존에는 대화가 길어질수록 모든 과거 대화를 LLM에 입력해야 했기에 토큰 비용이 급증하고, 모델이 중요한 정보를 놓치는 경우가 많았습니다. 제로-토큰 메모리는 이러한 비효율성을 해소하여 사용자 경험을 개선하고, LLM 기반 서비스의 확장성을 높이는 데 기여할 것입니다. 이는 특히 개인 비서나 고객 서비스 챗봇처럼 장기적인 상호작용이 필요한 애플리케이션에서 큰 강점으로 작용할 것으로 기대됩니다.