최근 대규모 언어모델(LLM) 기반의 에이전트 시스템은 여러 번의 상호작용, 도구 호출, 그리고 세션 간 워크플로우를 거치며 지속적으로 컨텍스트(context)를 축적합니다. 이처럼 방대한 대화 기록을 매 요청마다 전부 재생하는 방식은 비효율적입니다. 긴 컨텍스트는 사전 처리(prefill) 비용을 증가시키고, 모델의 컨텍스트 한도를 초과할 수 있으며, 관련 없는 정보 속에 중요한 내용이 묻혀 추론 효율성과 결과 품질을 모두 떨어뜨리는 문제점을 야기합니다.
이러한 문제를 해결하기 위해 '아카식(Akashic)'이라는 새로운 저비용 메모리 시스템이 제안되었습니다. 아카식은 '멤어텐션(MemAttention)'이라는 기술을 핵심으로 합니다. 이 기술은 컨텍스트를 일정한 크기의 덩어리(chunk)로 나누고, 이 덩어리들 간의 의미론적 관계를 모델링하여 전체 기록을 반복적으로 재작성하지 않고도 중요한 정보들을 보존합니다. 또한, 아카식은 하드웨어-소프트웨어 공동 설계 메모리 배치(co-designed memory placement)를 적용하여 함께 검색될 가능성이 높은 덩어리들을 물리적으로 가깝게 배치함으로써 검색 단편화(retrieval fragmentation)와 입출력(I/O) 오버헤드를 줄입니다. 연구 결과에 따르면, 아카식은 네 가지 대표적인 워크로드와 세 가지 모델 크기에서 기존 메모리 시스템 대비 작업 정확도를 최대 10.2%p, 처리량(throughput)을 최대 1.21배, 지속 가능한 요청 처리율을 최대 1.88배 향상시키는 것으로 나타났습니다.
아카식 시스템의 등장은 LLM 기반 서비스의 상업적 활용에 중요한 의미를 가집니다. 컨텍스트 길이 제한과 높은 추론 비용은 LLM 에이전트 시스템의 확장성을 저해하는 주요 요인이었습니다. 아카식은 이러한 한계를 극복하여, 장기 기억(long-term memory)이 필요한 복잡한 대화형 AI나 개인화된 에이전트 서비스 개발을 더욱 용이하게 할 것입니다. 이는 사용자 경험을 개선하고, LLM 서비스 제공 기업의 운영 비용을 절감하며, 더 나아가 새로운 AI 애플리케이션의 등장을 촉진할 잠재력을 가지고 있습니다.