AI 챗봇을 사용할 때마다 프로젝트 배경이나 과거 결정 사항 등 동일한 맥락을 반복해서 설명해야 하는 불편함은 많은 사용자가 공감하는 문제입니다. 단순히 컨텍스트 윈도우(Context Window)를 늘려 이전 대화를 모두 프롬프트에 넣는 방식은 비용 낭비, 불필요한 정보로 인한 노이즈 증가, 그리고 정작 중요한 과거 맥락의 유실이라는 명확한 한계를 가집니다. 이러한 문제의식에서 출발한 코그니카(cognica) 팀이 macOS용 AI 메모리 워크스페이스 앱 'Maek'을 선보였습니다. Maek은 질문이 들어올 때마다 '지금 질문에 필요한 기억을 어떻게 최적의 형태로 재구성(Reconstruct)할 것인가'에 집중하며, 사용자의 로컬 데이터를 활용해 AI의 기억력을 극대화하는 새로운 접근 방식을 제시합니다.
Maek의 핵심 아키텍처는 분리된 데이터와 증거(Evidence) 기반 검색에 있습니다. 대화 기록, 문서 청크, 그리고 대화에서 추출된 사람, 조직, 사건 등의 관계를 정리한 그래프(Graph), 현재 상황을 압축한 대화 상태(Conversation State) 등 모든 사용자 자산은 로컬에 저장됩니다. 새로운 질문이 들어오면 Maek은 이러한 다양한 신호들을 조합하여 컨텍스트를 재구성합니다. 특히 아파치 루씬(Apache Lucene) 코어에 베이지안 BM25(Bayesian BM25) 기반 확률적 하이브리드 검색(probabilistic hybrid search) 기술을 기여한 코그니카 팀의 노하우를 바탕으로, BM25, 벡터 유사도(Vector Similarity), 그래프, 최신성(Recency) 등 다양한 증거들을 정교하게 조합하여 질문에 가장 적합한 맥락을 찾아냅니다.
Maek의 주요 특징은 '검증 가능성(Inspectability)'과 '로컬 우선(Local-First)' 원칙입니다. AI가 답변을 생성할 때 어떤 메시지, 문서 청크, 그래프 정보, 상태 정보가 컨텍스트에 포함되었는지 사용자가 직접 확인할 수 있어, AI의 답변 근거를 투명하게 파악하고 필요시 교정할 수 있습니다. 이는 사용자가 AI를 신뢰하고 효과적으로 활용하는 데 필수적인 요소입니다. 또한, Maek은 사용자의 대화, 문서, 그래프, 상태 등 모든 자산을 로컬 작업 공간에 쌓아두는 독립적인 도구로, 서비스 종속적인 기존 AI 메모리 기능과 차별화됩니다. 로컬 모델 사용 시 완전 오프라인 추론을 지원하며, 클라우드 모델 연동 시에도 데이터 흐름을 명확히 구분하여 사용자에게 데이터 보안에 대한 안심을 제공합니다. 이는 AI 시대에 개인 데이터 주권과 투명성을 중요하게 생각하는 사용자들에게 큰 의미가 있습니다.