AI 코딩 에이전트가 복잡한 프로젝트를 진행할 때, 이전에 해결했던 문제들을 잊어버리고 같은 실수를 반복하는 현상이 빈번하게 발생합니다. 이는 대규모 언어모델(LLM)의 고질적인 문제인 '컨텍스트 윈도우(context window)' 한계 때문인데, 에이전트가 한 번에 처리할 수 있는 정보의 양이 제한되어 있어 방대한 과거 기록을 모두 기억하기 어렵기 때문입니다. 최근 '투-티어 메모리(Two-tier-memory)'라는 오픈소스 프로젝트가 이 문제를 해결하기 위한 획기적인 접근 방식을 제시했습니다.
'투-티어 메모리'는 AI 에이전트의 장기 기억을 두 가지 계층으로 분리하여 관리합니다. 첫 번째 계층(Tier 1)은 '인덱스(INDEX.md)'로, 에이전트가 항상 컨텍스트에 로드할 수 있는 가벼운 요약본입니다. 여기에는 해결된 문제의 제목과 포인터만 담겨 있어, 에이전트가 어떤 지식이 존재하는지 빠르게 파악할 수 있게 합니다. 두 번째 계층(Tier 2)은 '데이터베이스(SQLite)'로, 실제 문제 해결 과정, 근본 원인, 해결책, 주의사항 등 상세한 정보가 구조화되어 저장됩니다. 에이전트는 특정 문제가 발생했을 때만 이 데이터베이스에 쿼리(query)를 보내 필요한 정보를 검색하므로, 컨텍스트 윈도우의 부담을 크게 줄일 수 있습니다.
이러한 2단계 메모리 시스템은 1970년대 데이터베이스가 등장하며 파일 시스템의 한계를 극복했던 방식과 유사합니다. AI 에이전트가 전체 파일을 스캔하는 대신, 색인을 통해 필요한 정보만 정확히 찾아내도록 함으로써 '기억상실증'을 방지하고 작업 효율을 극대화할 수 있습니다. 개발자는 이 시스템을 통해 AI 에이전트에게 '새로운 어려운 문제에 직면하면 먼저 메모리를 검색하고, 새로운 해결책을 찾으면 메모리에 추가하라'는 규칙을 부여하여, 에이전트가 더욱 똑똑하고 효율적으로 작업하도록 유도할 수 있습니다. 이는 AI 코딩 에이전트의 생산성을 높이고, 개발자들이 AI를 활용하는 방식에 중요한 변화를 가져올 잠재력을 가지고 있습니다.