구글 클라우드가 대규모 언어모델(LLM)의 한계로 지적되던 장기 기억력 문제를 해결하기 위해 '올웨이즈온 메모리 에이전트(Always-On Memory Agent)'를 공개했습니다. 이 새로운 접근 방식은 기존의 검색 증강 생성(RAG)이나 임베딩(embeddings) 기술 없이, LLM이 대화 맥락을 지속적으로 통합하고 학습하여 사용자 경험을 혁신할 잠재력을 가지고 있습니다.
이 에이전트는 구글의 최신 경량 모델인 제미니 3.1 플래시-라이트(Gemini 3.1 Flash-Lite)를 기반으로 작동합니다. 기존 RAG 방식은 외부 데이터베이스에서 관련 정보를 검색하여 LLM에 제공하는 방식이었지만, 올웨이즈온 메모리 에이전트는 LLM 자체가 대화 내용을 지속적으로 요약하고 통합하여 내부 '기억'을 구축합니다. 즉, LLM이 과거 대화 내용을 스스로 기억하고 이를 바탕으로 현재 대화에 응답함으로써, 훨씬 더 일관되고 맥락에 맞는 상호작용을 제공할 수 있게 됩니다.
이 기술은 LLM이 복잡한 다단계 대화나 장기간에 걸친 상호작용에서도 일관성을 유지하기 어렵다는 문제점을 해결합니다. 예를 들어, 고객 서비스 챗봇이 과거 대화 기록을 일일이 다시 검색할 필요 없이 고객의 이전 문의 내용을 자연스럽게 기억하고 응대할 수 있게 되는 것입니다. 이는 사용자 경험을 크게 향상시킬 뿐만 아니라, RAG 시스템 구축 및 유지보수에 필요한 복잡성과 비용을 줄여 개발자에게도 큰 이점을 제공할 것으로 기대됩니다.