그노시스 랩스(Gnosis Labs)가 개발한 오픈소스 검색 엔진 '매로우(Marrow)'가 개발자들 사이에서 주목받고 있습니다. 이 도구는 클로드(Claude)와 같은 AI 챗봇과의 코딩 세션 기록을 사용자의 개인 인프라에 저장하고, 강력한 의미론적(semantic) 및 어휘적(lexical) 검색 기능을 제공합니다. AI와의 수많은 대화 속에서 특정 디버깅 과정이나 코드 결정의 배경을 쉽게 찾아낼 수 있도록 돕는 것이 핵심입니다.
매로우는 사용자의 AI 코딩 세션 기록(기본적으로 클로드 코드 세션)은 물론, 클로드 AI, 챗GPT(ChatGPT), 텔레그램(Telegram) 대화 내보내기, 일반 마크다운(markdown) 파일까지 색인(index)할 수 있습니다. 수집된 데이터는 포스트그레스(Postgres)와 pg벡터(pgvector)를 활용하는 사용자의 자체 데이터베이스에 저장되며, 보이저(Voyage)의 임베딩(embedding) 모델을 통해 의미를 분석합니다. 검색 시에는 pg벡터의 코사인 유사도와 ts벡터(tsvector)의 어휘 검색을 결합한 하이브리드 방식을 사용해 정확도를 높이고, 모든 검색 결과는 원본 세션의 특정 부분으로 출처가 명확히 표시됩니다. 이는 사용자가 자신의 데이터를 완벽하게 통제하면서도 AI의 답변에 대한 신뢰성을 확보할 수 있게 합니다.
매로우의 등장은 AI 개발 보조 도구 사용이 보편화되면서 발생하는 '정보 과부하' 문제를 해결하는 중요한 시사점을 던집니다. 개발자들은 AI와 협업하며 방대한 양의 대화 기록을 쌓아가지만, 정작 필요할 때 과거의 특정 정보를 찾아내기 어렵다는 고충을 겪어왔습니다. 매로우는 이러한 비정형 데이터를 구조화하고 검색 가능하게 함으로써, AI와의 상호작용에서 얻은 지식을 효과적으로 축적하고 재활용할 수 있는 기반을 마련합니다. 이는 개발 생산성 향상뿐만 아니라, 민감한 코드나 아이디어가 외부 서버로 유출될 걱정 없이 AI를 활용할 수 있게 해 데이터 보안과 주권에 대한 우려를 해소하는 데 기여합니다. 궁극적으로 매로우는 AI 시대에 개인 또는 기업이 자신만의 'AI 기억'을 구축하고 관리하는 새로운 패러다임을 제시한다고 볼 수 있습니다.