최근 연구에 따르면, 대규모 언어모델(LLM) 기반의 AI 에이전트가 사용자와의 상호작용을 기억하는 방식이 단순한 모델 가중치(model weights)를 넘어선 '배포 시점 기억(Deployment-Time Memorization)'이라는 새로운 개념으로 주목받고 있습니다. 이는 에이전트가 장기적으로 사용자를 기억하면서 개인화(personalization)를 제공하지만, 동시에 정보 유출 위험(extraction risk)과 삭제 신뢰성(deletion fidelity)이라는 중요한 문제들을 야기합니다. 기존 연구들은 주로 모델 자체의 기억 방식에 초점을 맞췄으나, 이번 연구는 에이전트가 실제 서비스에 배포될 때 기억 설계가 이 세 가지 요소에 미치는 복합적인 영향을 분석합니다.
연구팀은 에이전트의 기억을 개인화 회상률(Personalization Recall, PR)과 적대적 추출률(Adversarial Extraction Rate, AER)로 측정하며, 세 가지 기억 설계 요소인 요약 압축 강도(summarization aggressiveness), 검색 범위(retrieval breadth, k), 삭제 모드(deletion mode)를 조절하여 그 영향을 분석했습니다. 특히, '잊혀진 잔여 점수(Forgetting Residue Score, FRS)'를 도입하여 삭제된 정보가 파생된 메모리 계층에 얼마나 남아있는지 정량화했습니다. 실험 결과, 핵심 사실 요약(key-fact summarization)은 Gemma 3 12B에서 76%, GPT-4o-mini에서 64%의 정보 유출을 줄이면서도 개인화 성능은 거의 유지했습니다. 그러나 이러한 압축은 삭제 신뢰성 문제를 일으켜, 원본 데이터만 삭제할 경우 파생된 요약본에 정보가 약 20% 정도 남아있을 수 있음이 확인되었습니다. 완전한 삭제를 위해서는 전체 파이프라인 퍼지(full-pipeline purge)나 툼스톤 수정(tombstone redaction)과 같은 강력한 조치가 필요했습니다.
이 연구는 AI 에이전트의 지속적인 기억(persistent memory)이 단순한 기능이 아니라, 에이전트가 무엇을 기억하고, 무엇을 유출할 수 있으며, 무엇을 진정으로 지울 수 있는지에 대한 핵심적인 메커니즘으로 평가되어야 함을 강조합니다. 이는 AI 에이전트 개발자들이 개인화된 사용자 경험을 제공하면서도, 동시에 민감한 정보의 유출을 막고 사용자의 '잊혀질 권리'를 보장하기 위한 보다 정교한 기억 관리 전략을 수립해야 함을 의미합니다. 앞으로 AI 에이전트 설계 시 기억 메커니즘은 개인정보 보호 및 보안 측면에서 더욱 중요한 고려 사항이 될 것입니다.