GOAT 2.0은 텔레그램을 기반으로 하는 AI 에이전트로, 능동적인 계층형 기억 시스템을 핵심으로 합니다. 이 시스템은 기존 검색 증강 생성(RAG) 방식과 근본적인 차이를 보이는데, 대규모 언어모델(LLM)이 답변을 생성하기 전에 질의 내용과 관계없이 매 턴마다 기억 검색을 실행한다는 점입니다. 이는 모델이 “이 내용을 기억하는가?”라고 스스로 묻기 전에 관련 정보가 이미 프롬프트에 주입되어, 모호한 한 단어 메시지에도 과거 세션에서 의미론적으로 관련된 내용을 찾아 답변의 정확성을 높입니다.
GOAT 2.0의 차별점은 '능동성'에 있습니다. '프리페치 데몬(prefetch daemon)'이라는 기능이 매 턴의 첫 단계로 시작되어, LLM 호출 전에 병렬적으로 실행됩니다. 이 데몬은 질의를 세 가지 방식으로 분류하고, 점수가 0 이상인 모든 메커니즘을 실행하여 관련 정보를 미리 가져옵니다. 또한, Redis, ChromaDB, Letta라는 세 가지 독립적인 물리적 백엔드를 사용하여 작업 기억, 에피소드 기억, 영구 기억을 관리합니다. 이 백엔드들은 필요할 때 지연 로딩되며, 하나에 장애가 발생해도 다른 기억 계층은 독립적으로 작동하여 서비스 연속성을 보장합니다. 모든 대화는 압축이나 추출 없이 원문 그대로 보관되어, 과거의 어떤 대화도 완전한 형태로 검색할 수 있습니다.
이러한 능동적 기억 시스템은 LLM의 한계 중 하나인 '기억 상실' 문제를 효과적으로 해결하며, 사용자 경험을 크게 향상시킬 수 있습니다. 모델이 대화의 맥락을 잊어버리거나 반복적으로 질문하는 상황을 줄여주기 때문입니다. 특히 복잡하거나 장기적인 대화에서 에이전트가 사용자의 의도를 더 잘 이해하고 일관된 정보를 제공하는 데 기여할 것입니다. 이는 AI 에이전트가 단순한 질의응답을 넘어, 사용자와의 지속적인 상호작용에서 더욱 '인간적인' 기억력을 갖추도록 발전하는 중요한 단계로 평가됩니다.