AI 에이전트가 터미널 출력을 읽기 전에 필터링하고 압축하여 토큰 사용량을 줄인다고 알려진 RTK(Rust Token Killer)가 실제 비용 절감에는 기대만큼 효과적이지 않다는 벤치마크 결과가 발표되었습니다. Terminal-Bench 2.1에서 1,740회에 걸쳐 진행된 비교 실험에 따르면, Fable 모델의 총비용은 5% 감소했지만, DeepSeek 모델은 5% 증가했습니다. 특히 작업별 평균 비용으로 보면 Fable은 1%, DeepSeek은 17% 증가한 것으로 나타나, RTK가 범용적인 비용 절감 도구로 권장되기 어렵다는 결론이 나왔습니다.
RTK는 GitHub에서 7만 9천 개 이상의 스타를 받을 정도로 주목받았으며, Claude Code 토큰을 최대 60%까지 줄일 수 있다는 주장으로 큰 관심을 모았습니다. 그러나 이번 벤치마크는 RTK의 'rtk gain' 지표가 실제 청구 토큰 수와는 다르다는 점을 명확히 보여줍니다. 'rtk gain'은 원본과 필터링된 명령 출력의 바이트 차이를 4로 나눈 값으로, 에이전트가 요청하지 않은 전체 파일 내용을 기준으로 절감량을 계산하는 경우가 많아 실제 제거된 요청 출력과는 차이가 있었습니다. 예를 들어, DeepSeek 실험에서 'rtk gain'은 3억 4,920만 토큰 절감(89% 감소)을 보고했지만, 실제 비용은 오히려 증가했습니다. 또한, RTK는 Git, 테스트, 패키지, 파일 명령 등을 재작성하여 짧은 출력을 반환하지만, 모든 도구 호출이 압축 대상은 아니며, 캐시 할인과 별도 파일 도구(Read, Grep, Glob)는 RTK를 우회하는 등 효과를 제한하는 요인들이 있었습니다.
이번 결과는 AI 에이전트의 토큰 최적화가 단순히 출력량을 줄이는 것만으로는 부족하다는 점을 시사합니다. 터미널 출력 감소가 비용 절감에 도움이 될 수도 있지만, 에이전트의 추가 턴 발생이나 작업 통과율 저하 등 역효과를 낼 수도 있기 때문입니다. DeepSeek의 경우 RTK 적용 후 평균 턴당 입력은 7% 감소했지만, 전체 턴 수가 18% 증가하여 압축 효과를 상쇄했습니다. 이는 '토큰플레이션(tokenflation)' 문제의 또 다른 형태로, 추가 에이전트 턴 하나가 압축으로 절감한 비용보다 비쌀 수 있음을 보여줍니다. 따라서 AI 에이전트의 효율성을 높이기 위해서는 제거된 출력량뿐만 아니라 실제 지출, 작업 통과 여부, 추가 턴 발생 여부 등 복합적인 요소를 함께 고려해야 할 것입니다.