코그니(Cogni)가 대규모 언어모델(LLM)의 인지 능력을 혁신할 새로운 메모리 서버를 선보였습니다. 이 시스템은 단순한 정보 검색을 넘어, LLM이 마치 사람처럼 기억을 기반으로 추론할 수 있도록 돕는 '추론하는 메모리'를 제공합니다. 기존 벡터 스토어(vector store)가 단편적인 유사성 검색에 그쳤다면, 코그니는 엔티티 그래프(entity-graph) 기반의 확산 활성화(spreading activation)를 통해 여러 문서에 흩어진 사실 관계의 연결 고리를 찾아냅니다.
코그니의 핵심 기술은 '엔티티 그래프 확산 활성화'입니다. 이는 질문과 직접적인 단어 일치가 없는 복잡한 다중 홉(multi-hop) 추론 질문에서도 정확한 답변을 찾아내는 데 탁월한 성능을 보입니다. 예를 들어, 부품 번호가 배치 번호로, 다시 사람 이름으로 이어지는 연쇄적인 정보를 단 한 번의 검색(recall call)으로 추적할 수 있습니다. 자체 테스트 결과, 코그니는 흩어진 4개 문서 체인 중 3.4개를 찾아낸 반면, 일반 벡터 검색은 2.6개에 그쳤습니다. 또한, 질문과 어휘가 전혀 다른 답변을 찾는 '교차 어휘 검색(cross-vocabulary retrieval)'에서는 코그니가 0.48의 정확도를 보인 반면, 벡터 RAG(Retrieval Augmented Generation)는 0.00을 기록하며 구조적인 한계를 드러냈습니다. 이러한 성능은 검색 경로에 LLM이나 GPU를 사용하지 않고도 달성되며, 결정론적(deterministic) 방식으로 항상 동일한 결과를 보장합니다.
이 기술은 LLM의 활용성과 경제성에 큰 영향을 미칠 것으로 예상됩니다. 기존 벡터 검색 방식은 여러 번의 반복적인 호출(iteration)을 통해 간접적으로 연결된 정보를 찾아야 했지만, 코그니는 첫 호출에서 전체 정보 체인을 반환하여 LLM의 API 호출 횟수와 컨텍스트(context) 사용량을 크게 줄여줍니다. 이는 곧 운영 비용 절감으로 이어집니다. 특히, 작은 규모의 로컬 LLM도 코그니를 통해 복잡한 추론 작업을 수행할 수 있게 되어, 고성능 대규모 모델에 대한 의존도를 낮추고 AI 애플리케이션 개발의 문턱을 낮출 수 있습니다. 코그니는 어떤 모델(Claude, GPT, Gemini, 로컬 모델)과도 연동 가능하며, 기존 벡터 검색 기능을 보완하는 형태로 작동하여 개발자들이 쉽게 도입할 수 있습니다.