인공지능(AI) 에이전트들이 복잡한 문제를 해결하기 위해 서로 정보를 공유하는 방식은 AI 시스템의 효율성과 성능을 결정하는 중요한 요소입니다. 특히, 에이전트들이 텍스트 대신 '잠재 공간(latent space)'에서 계산된 상태를 키-값 캐시 파편(key-value cache fragments) 형태로 공유할 때, 이 정보들을 어떻게 효율적으로 저장하고 나중에 필요한 부분만 정확히 읽어낼 것인지는 핵심 과제였습니다. 최근 발표된 'MaSRead' 논문은 이 문제에 대한 혁신적인 해결책을 제시합니다.
기존에는 여러 에이전트가 공유하는 잠재 공간 캐시가 충돌 없는 복제 데이터 타입(CRDT)으로 병합되어 어떤 순서나 중복에도 일관성을 유지했지만, 나중에 특정 질의(query)에 대한 정보를 읽으려 할 때 문제가 발생했습니다. 파편들이 물리적으로 가깝게 저장되어 있어도 서로 간섭하여 원하는 내용을 정확히 추출하기 어려웠던 것입니다. MaSRead는 이 한계를 극복하기 위해 '내용 기반 주소 지정(content-addressed reading)' 방식을 도입했습니다. 파편의 단어에서 파생된 불투명한 키 태그 세트(opaque keyed tag sets)를 통해 필요한 파편으로 라우팅하고, 선택된 각 파편은 나머지 부분을 가리는 '하드 어텐션 마스크(hard attention mask)'를 적용하여 디코딩합니다. 이를 통해 다단계 질의(multi-hop query)에서도 어휘적 연결성(lexical connectivity)을 기반으로 필요한 파편들을 정확히 찾아낼 수 있습니다.
MaSRead의 등장은 AI 에이전트들이 공유하는 지식 저장소의 활용성을 크게 높일 잠재력을 가집니다. 이 기술은 체인, 파이프라인, 대칭, 허브, 자연어 저장소 등 다양한 환경에서 효과적으로 작동하며, 관련 없는 파편들이 축적되어도 성능을 유지하고 다른 모델 계열에도 적용 가능하다는 장점이 있습니다. 라우팅 후에는 전체 저장소 크기가 아닌 파편 길이에 비례하여 디코딩이 이루어져 효율적입니다. 물론, 어휘적 라우팅이 연결되지 않은 증거를 놓칠 수 있고, 답변 구성이 고정된 리더(frozen reader)에 의해 제한될 수 있다는 한계도 명확히 제시하고 있습니다. 그럼에도 불구하고, MaSRead는 잠재 공간 캐시를 선택적으로 읽을 수 있게 함으로써 AI 시스템의 추론 능력과 지식 관리 효율성을 한 단계 끌어올릴 중요한 진전으로 평가됩니다.