앤트로픽(Anthropic)의 AI 모델 클로드(Claude)를 활용하는 개발자들을 위한 새로운 오픈소스 도구 '클로드 써모스(Claude-thermos)'가 공개되었습니다. 이 도구는 클로드 코드(Claude Code) 사용 시 발생하는 불필요한 비용 지출 문제를 해결하여, 사용자들이 대화 기록 재인코딩에 드는 비용을 최대 20%까지 절감할 수 있도록 돕습니다.
클로드 코드의 프롬프트 캐시(prompt cache)는 5분이라는 짧은 유효 기간(TTL)을 가집니다. 메인 에이전트가 서브 에이전트에게 작업을 위임하고 5분 이상 기다리면, 메인 에이전트의 캐시는 자동으로 만료됩니다. 서브 에이전트는 별도의 시스템 프롬프트와 도구 세트를 사용하므로, 메인 에이전트의 캐시를 갱신하지 못하기 때문입니다. 캐시가 만료된 후 서브 에이전트가 작업을 마치고 돌아오면, 메인 에이전트는 이전에 캐시되어 있던 대화 기록을 다시 전체 인코딩해야 하는데, 이는 캐시에서 읽어오는 비용보다 훨씬 비싼 '쓰기(write) 비용'이 발생합니다. 개발자 izeigerman의 측정에 따르면, 이러한 재인코딩 비용은 전체 청구액의 약 22%를 차지했습니다.
클로드 써모스는 이러한 문제를 해결하기 위해 로컬 리버스 프록시(reverse proxy) 방식으로 작동합니다. 클로드 코드의 요청을 가로채 세션과 계보(lineage)로 그룹화하고, 메인 에이전트의 캐시가 만료될 위험이 감지되면 자동으로 '워밍(warming) 요청'을 보냅니다. 이 워밍 요청은 실제 API로 전송되지만, 단일 토큰(max_tokens: 1)만 요청하여 캐시를 새로고침하는 데 필요한 최소한의 비용만 발생시킵니다. 이를 통해 서브 에이전트 작업이 끝난 후에도 메인 에이전트의 캐시가 유지되어, 비싼 재인코딩 대신 저렴한 캐시 읽기(read) 비용으로 작업을 이어갈 수 있게 됩니다. 이 도구는 파이썬 3.11 이상과 클로드 CLI(명령줄 인터페이스)가 필요하며, 백그라운드에서 자동으로 작동합니다.