AI 에이전트 개발자들이 고질적으로 겪는 문제 중 하나는 바로 토큰 낭비입니다. 에이전트가 같은 작업을 반복하거나 불필요한 재시도를 할 때마다 토큰이 소모되지만, 눈에 보이는 오류가 아니어서 개발자들이 쉽게 알아차리기 어려웠습니다. 이러한 문제를 해결하기 위해, 완료된 AI 에이전트의 실행 트레이스를 분석하여 숨겨진 토큰 낭비를 찾아내는 결정론적 탐지기 '클루(Clew)'가 CLI(명령줄 인터페이스) 도구 형태로 공개되어 주목받고 있습니다.
클루는 랭퓨즈(Langfuse)나 피닉스(Phoenix)처럼 트레이스를 시각화하는 대신, 이미 완료된 트레이스 파일을 읽어 낭비 지점만 정확히 짚어줍니다. 작동 방식은 두 단계로, 먼저 같은 도구가 동일한 인자로 호출된 경우를 묶고, 이어서 출력의 SHA256 해시값이 완전히 일치하는지 확인합니다. 출력이 다르면 상태가 변경된 것으로 간주하여 낭비로 플래그하지 않습니다. 클루는 에러 반복, 부작용 재실행, 멱등(idempotent) 연산 반복(읽기 전용 반복), 판정 불가 등 네 가지 유형의 낭비를 분류하며, LLM 판정 없이 동작하므로 항상 동일한 결과를 보장합니다. 공개된 툴애슬론(Toolathlon) 벤치마크(6,780개 트레이스) 분석 결과, 총 8,042건의 중복 호출이 탐지되었으며, 이 중 멱등 연산을 제외한 실제 낭비는 4,251건(전체 도구 호출의 2.41%)에 달했습니다.
이러한 토큰 낭비 탐지는 AI 에이전트의 운영 효율성과 비용 절감에 중요한 의미를 가집니다. 특히 읽기(read) 작업이 코딩 에이전트 세션 토큰의 65~90%를 차지하는 만큼, 중복된 읽기 작업만 줄여도 상당한 비용을 아낄 수 있습니다. 클루는 개발자들이 에이전트의 비효율적인 행동 패턴을 파악하고 개선하는 데 실질적인 도움을 줄 수 있습니다. 비록 아직 실제 비용 절감 사례가 측정된 것은 아니지만, 개발 초기 단계부터 낭비 요소를 식별하고 최적화할 수 있는 기반을 제공한다는 점에서 AI 에이전트 개발 생태계에 긍정적인 영향을 미칠 것으로 기대됩니다.