AI 코딩 에이전트를 활용할 때, 개발자들은 에이전트가 이전 대화나 결정 사항을 잊어버려 같은 내용을 반복해서 설명해야 하는 비효율을 자주 경험합니다. 이러한 '맥락 손실(context loss)'은 에러 메시지 없이 작업 품질 저하와 시간 낭비로 이어지는데, 이를 해결하기 위해 LLM 프록시(proxy) 서비스 '로어(Lore)'가 출시되었습니다. 로어는 AI 에이전트와 LLM API 사이에 위치하여 대화 내용을 자동으로 기록하고 관리함으로써, 에이전트가 과거의 정보를 잊지 않고 지속적으로 학습하며 작업할 수 있도록 돕습니다.
기존의 맥락 관리 방식은 크게 두 가지 문제가 있었습니다. 첫째, 대화 맥락(context window)이 가득 차면 이전 내용을 압축(compaction)하는데, 이 과정에서 중요한 세부 정보가 손실됩니다. 로어의 자체 테스트에 따르면, 5일간의 코딩 세션에서 230만 토큰(token)이 1.1만 토큰으로 200배 압축될 때, 문제 해결 과정, 대안 선택 이유 등 핵심 정보가 사라져 회상률(recall)이 2.4/5에 불과했습니다. 반면 로어는 4.0/5의 회상률을 기록했습니다. 둘째, 개발자들이 새로운 세션을 시작하면 에이전트는 이전 세션의 모든 정보를 잊어버리는 '완전 기억 상실증(total amnesia)' 상태가 됩니다. 수동으로 맥락 파일을 관리하는 방법도 있지만, 이는 사실상 또 하나의 풀타임 업무가 될 정도로 비효율적입니다.
로어는 이러한 문제를 해결하기 위해 '가로채기(intercept)', '정제(distill)', '회상(recall)'의 세 가지 핵심 기능을 제공합니다. 먼저, 로어는 AI 클라이언트와 LLM API 사이에 위치하여 모든 메시지를 가로채고, 클라이언트 변경 없이 베이스 URL만 바꾸면 됩니다. 다음으로, 손실이 큰 압축 대신 대화 내용을 타임스탬프가 찍힌 '관찰 로그(observation log)'로 정제하여 저장합니다. 이는 에이전트가 실제로 작업에 필요한 운영 세부 정보를 유지하게 하며, 수동으로 관리하던 '핵심 기술 학습(Key Technical Learnings)'도 자동으로 추출하고 관리합니다. 마지막으로, 정제된 맥락만으로 부족할 경우, 에이전트의 '회상 도구(recall tool)'를 통해 수백 턴(turn) 전의 정확한 파일 경로, 에러 메시지, 결정 이유 등을 검색하여 필요한 정보를 적시에 가져옵니다. 이를 통해 로어는 기존 압축 방식 대비 2.6배 높은 총 회상률을 달성했습니다.
로어는 맥락 관리와 기억(memory)을 별개의 문제가 아닌 하나의 연속적인 파이프라인으로 통합하여 접근합니다. 단순히 과거 대화를 저장하고 검색하는 것을 넘어, 현재 세션의 맥락 손실을 방지하고, 모든 대화에서 학습된 패턴, 주의사항, 결정 사항 등을 자동으로 추출하여 .lore.md 파일로 내보냅니다. 이 파일은 Git으로 관리 가능하며 모델에 독립적이어서, 에이전트가 어떤 LLM 공급자나 도구를 사용하든, 심지어 다른 팀원과 프로젝트를 공유하더라도 지속적으로 학습하고 개선될 수 있습니다. 이는 연구자들이 '자기 개선(harness self-improvement)'이라고 부르는 개념을 로어가 자동화하여 구현한 것입니다.
결과적으로 로어는 AI 코딩 에이전트의 생산성을 획기적으로 향상시킬 수 있습니다. 개발자들은 더 이상 에이전트에게 프로젝트를 반복해서 설명할 필요가 없으며, 에이전트는 과거의 결정 사항과 그 이유를 기억하여 불필요한 재작업을 방지합니다. 또한, 여러 세션과 프로젝트를 거치며 에이전트의 학습 능력이 점진적으로 향상되어, 마치 팀원이 성장하는 것처럼 효율적인 협업이 가능해집니다. 이는 AI 에이전트 활용의 가장 큰 걸림돌 중 하나였던 '기억 상실' 문제를 해결함으로써, 개발 워크플로우를 혁신하고 AI 에이전트의 잠재력을 최대한 발휘할 수 있게 합니다.