최근 'Sillage'라는 새로운 오픈소스 프로젝트가 공개되어, 언어모델(LLM)의 고질적인 '망각' 문제를 해결할 흥미로운 접근 방식을 제시했습니다. Sillage는 단 4MB의 고정된 메모리 공간만으로 동결된(frozen) 언어모델이 이전에 읽었던 문서를 기억하고, 이를 바탕으로 더 나은 예측을 수행할 수 있도록 돕습니다. 이는 모델을 미세조정(fine-tuning)하거나 인덱스를 지속적으로 늘릴 필요 없이, 모델이 새로운 정보를 학습하고 활용할 수 있게 한다는 점에서 주목할 만합니다.
Sillage는 '배가 지나간 흔적'이나 '방에 남은 향기'를 의미하는 프랑스어에서 따온 이름처럼, 모델이 읽은 내용의 흔적을 기억으로 남깁니다. 이 기술은 네 가지 핵심 메커니즘을 통합합니다. 헤비안(Hebbian) 행렬을 이용한 학습, 신뢰도를 기반으로 라우팅되는 의미론적 계층, 놀라움을 통해 통합되는 콜드 스토어, 그리고 읽기(readout) 과정에 적용되는 랭크-16 어댑터입니다. 이 모든 과정은 노트북 CPU에서도 실행 가능하며, 개발팀은 두 번의 세션에서 퍼플렉시티(perplexity)가 절반으로 줄어드는 등 기억력 향상 효과를 입증했습니다. 예를 들어, GPT-2 모델의 경우 7.4MB, Qwen3 모델의 경우 25MB의 고정된 메모리 크기를 유지하며, 1만 개의 토큰을 읽는 데 약 8분(Qwen3-0.6B 기준)이 소요됩니다.
Sillage의 가장 큰 의미는 기존 LLM의 한계를 저비용으로 극복할 수 있는 가능성을 제시한다는 점입니다. 대규모 언어모델은 방대한 사전 학습 데이터를 통해 일반적인 지식을 습득하지만, 특정 사용자나 도메인의 최신 정보를 기억하고 활용하는 데는 어려움이 있었습니다. Sillage는 미세조정 없이도 이러한 '개인화된 기억'을 모델에 부여함으로써, 사용자가 제공하는 문서나 대화 내용을 바탕으로 모델의 응답 품질을 지속적으로 향상시킬 수 있습니다. 이는 특히 개인용 AI 비서, 전문 지식 검색 시스템, 또는 특정 기업의 내부 문서 분석 등 다양한 응용 분야에서 LLM의 실용성을 크게 높일 수 있는 기술로 평가됩니다.