AI 에이전트를 활용하는 기업들이 예상치 못한 비용 증가로 골머리를 앓는 경우가 많습니다. 이는 주로 프롬프트 캐시(prompt cache)가 제대로 작동하지 않아 발생하는 '사일런트 캐시 미스(silent cache miss)' 때문인데, 기존 로그에서는 오류로 표시되지 않아 문제를 인지하기 어렵습니다. 이러한 문제를 해결하기 위해 개발된 '리플레이(Replay)'는 AI 에이전트의 대화 기록을 분석하여 캐시 오류 지점과 원인, 그리고 그로 인해 재청구된 토큰(token)의 양을 정확하게 진단해줍니다.
리플레이는 로컬에서 작동하는 Go CLI(Command Line Interface) 도구로, 사용자 기기에 저장된 로그 기록을 포렌식 방식으로 분석합니다. 클로드 코드(Claude Code), 커서(Cursor), 에이더(Aider) 등 다양한 AI 에이전트에서 발생하는 캐시 문제를 역설계된 공급자 캐싱 상태 머신(state-machines)과 비교하여 파악합니다. 예를 들어, 툴(tool) 목록 변경이나 TTL(Time-To-Live) 만료와 같은 원인으로 캐시가 깨지면, 리플레이는 해당 시점과 재청구된 토큰 수를 명시합니다. 한 사용 사례에서는 119개 세션에서 4,039달러의 총 비용 중 5%에 해당하는 199달러가 4,290만 개의 토큰 재청구로 인해 발생했음을 밝혀냈습니다.
이 도구는 특히 미터링(metered) 방식의 API를 사용하거나, 무인으로 에이전트를 운영하거나, 서브 에이전트(sub-agents)를 사용하는 기업에 큰 가치를 제공합니다. 불필요하게 재청구되는 토큰 비용을 절감함으로써 AI 운영 효율성을 크게 높일 수 있습니다. 리플레이는 사용자 데이터를 외부로 전송하지 않는 제로-텔레메트리(zero-telemetry) 방식으로 개인 정보 보호에도 신경 썼으며, 사용자는 분석 결과를 직접 확인하고 필요시 개발자에게 공유하여 더 큰 데이터 풀에 기여할 수도 있습니다. 이는 AI 에이전트 비용 관리에 있어 투명성과 효율성을 동시에 확보할 수 있는 중요한 진전으로 평가됩니다.