AI 토큰 경제가 빠르게 재편되고 있습니다. AI 게이트웨이이자 마켓플레이스인 오픈라우터(OpenRouter)의 데이터에 따르면, 2025년 1월 약 5,000억 개였던 주간 토큰 처리량은 2026년 9월 말 164조 개로 무려 300배 이상 급증했습니다. 하지만 같은 기간 100만 토큰당 평균 지불 가격은 0.77달러에서 0.14달러로 80% 이상 하락하며, AI 추론(inference)이 소프트웨어 구독보다는 원자재성 투입 요소에 가까워지고 있음을 보여줍니다.
이러한 변화의 핵심에는 네 가지 동력이 작용하고 있습니다. 첫째, 모델 공급이 폭증하며 2024년 초 이후 오픈라우터에 862개 모델이 새로 출시되었고, 특히 저렴하면서도 성능이 뛰어난 오픈 웨이트 모델(Open-weight model)이 전체 토큰 사용량의 60%를 차지하지만 지출 비중은 26%에 불과합니다. 둘째, AI 에이전트(Agent)가 인간 사용자의 토큰 사용량을 추월하며 핵심 소비 주체로 부상했고, 에이전트가 반복적으로 긴 문맥을 전송하는 특성상 프롬프트 캐싱(Prompt caching) 기술이 비용 절감의 핵심 요소가 되었습니다. 셋째, 신규 모델과 공급업체 모두 캐시 적용률을 높이고 있으며, 동일 모델이라도 공급업체와 캐시 적용 비율에 따라 실제 비용이 크게 달라집니다. 마지막으로, 선두 모델 개발사가 지속적으로 바뀌고 최첨단 모델 개발사들조차 저가 모델을 출시하며 경쟁이 심화되고 있습니다.
결과적으로 토큰 사용량 증가율이 지출 증가율을 크게 앞지르는 현상이 나타나고 있습니다. 기업들은 AI 구매 시 단순히 표시 가격(list price)이 아닌, 캐시 할인, 대기 및 재시도 비용, 데이터 미보관(Zero Data Retention) 지원 여부, 자동 장애 전환(automatic failover) 경로 등을 종합적으로 고려한 실질 총비용(landed cost)을 기준으로 공급업체를 선택해야 합니다. AI 비용은 더 이상 고정된 소프트웨어 계약처럼 움직이지 않으며, CFO를 포함한 자본 배분 책임자들은 AI 사용 데이터와 급변하는 시장 역학을 깊이 이해하고 실험 문화를 바탕으로 유연한 재무 계획을 수립해야 할 필요성이 커지고 있습니다.