새로운 오픈소스 프로젝트 'MemStitch'가 다중 에이전트(multi-agent) 기반 대규모 언어모델(LLM) 워크플로우의 고질적인 비효율성을 해결하며 주목받고 있습니다. 이 기술은 여러 에이전트가 동일한 긴 문맥(long context)을 순차적으로 처리할 때 발생하는 불필요한 GPU 자원 낭비를 막아줍니다. 기존 방식에서는 각 에이전트가 동일한 텍스트를 처리할 때마다 값비싼 사전 채우기(prefill) 단계를 반복해야 했지만, MemStitch는 GPU 메모리 수준에서 캐시를 직접 연결하여 이 문제를 해결합니다.
MemStitch의 핵심은 '컨텍스트 토폴로지 해싱(Context Topological Hashing)'과 '제로-복사 블록 스티칭(Zero-Copy Block Stitching)' 기술에 있습니다. 프롬프트(prompt)를 물리적 블록 단위로 나누고 암호화된 지문(fingerprint)으로 매핑한 다음, 일치하는 접두사(prefix)에 대해 두 번째 에이전트의 논리적 어텐션 테이블(attention table)을 첫 번째 에이전트의 물리적 GPU 메모리 주소에 직접 연결합니다. 이를 통해 사전 채우기 단계를 완전히 건너뛸 수 있습니다. 200페이지 분량의 문서를 공유하는 벤치마크에서 MemStitch는 첫 토큰 생성 시간(Time-to-First-Token, TTFT)을 1200ms에서 48ms로 25배 단축했으며, GPU 메모리 사용량도 53블록에서 30블록으로 43.4% 절감하는 뛰어난 성능을 보였습니다. 또한, '제로-트러스트 보안 게이트(Zero-Trust Secure Gate)'를 통해 권한 없는 에이전트 세션이 공유 블록에 접근하지 못하도록 통제하여 보안성도 확보했습니다.
이 기술은 법률, 금융 감사 등 방대한 문서를 여러 AI 에이전트가 분석해야 하는 복잡한 워크플로우에서 특히 유용합니다. 각 에이전트가 동일한 문서를 반복해서 읽는 대신, 한 번 읽은 내용을 다른 에이전트가 즉시 활용할 수 있게 함으로써 전체 시스템의 응답 속도를 획기적으로 개선하고 운영 비용을 절감할 수 있습니다. OpenAI 호환 REST API와 Python SDK 데코레이터(decorator)를 제공하여 기존 LLM 애플리케이션에 쉽게 통합할 수 있으며, 실시간 개발자 콘솔을 통해 캐시 블록 상태를 모니터링할 수 있어 개발 편의성도 높습니다. MemStitch는 LLM 기반 다중 에이전트 시스템의 성능 병목 현상을 해소하고, 더욱 효율적이고 경제적인 AI 서비스 개발을 가능하게 하는 중요한 진전으로 평가됩니다.