HR 소프트웨어 제공업체 리플링(Rippling)이 기업의 AI 지출을 추적하고 통제하는 'AI 스펜드 콘솔(AI Spend Console)'을 공개했습니다. 이 제품은 개별 직원, 팀, 직무별 AI 사용 비용을 파악하고, 해당 지출이 실제 생산성 향상으로 이어지는지 분석해 '토큰맥싱(tokenmaxxing)'(AI 토큰 사용을 극대화하는 행위)을 방지하는 데 초점을 맞춥니다. 리플링은 이 도구를 통해 AI 비용이 많이 들지만 코드 리뷰에서 동료들이 작업을 다시 요청하는 엔지니어를 식별할 수 있다고 설명했습니다.
이 도구는 리플링이 자체적으로 겪었던 AI 비용 폭탄 경험에서 탄생했습니다. 올해 초 AI 활용을 적극적으로 늘리던 리플링은 3월에 최고재무책임자(CFO)로부터 충격적인 보고를 받았습니다. 당시 AI 토큰 지출이 연구개발(R&D) 인건비 예산의 40%에 달할 정도로 급증하고 있었으며, 월 80%씩 증가하는 추세가 지속되면 다음 해에는 R&D 인건비의 90%에 육박할 것이라는 예측이었습니다. 한 엔지니어가 월 5만 달러를 지출하는 등 전체 AI 지출의 60%를 소수의 직원이 차지하고 있었습니다. 이에 리플링은 AI 사용 자체를 막기보다는 효율적인 관리가 필요하다고 판단, 자체 AI 게이트웨이를 구축하고 비용 효율적인 모델로 프롬프트를 라우팅하는 시스템을 개발했습니다. 예를 들어, 스페이스X(SpaceX)의 그록(Grok)이나 Z.ai의 GLM 5.2와 같은 모델이 프론티어 모델보다 훨씬 저렴하면서도 유사한 성능을 제공한다는 것을 발견했습니다.
AI 스펜드 콘솔 도입 후, 리플링은 R&D 인건비의 40%에 달했던 AI 토큰 지출을 약 15%로 줄이는 데 성공했습니다. 놀랍게도 AI 사용량은 줄지 않았습니다. CFO의 경고가 있었던 달에 6050억 토큰을 사용했고, 7월에도 비슷한 6000억 토큰을 사용했지만, 비용은 4월 대비 37% 수준으로 급감했습니다. 이는 적절한 작업에 더 효율적인 모델을 사용하도록 라우팅했기 때문입니다. 리플링은 또한 AI를 효과적으로 사용하는 직원을 'AI 캡틴'으로 지정하여 다른 직원들을 돕도록 하는 등 기술적 솔루션 외에 조직 문화적 노력도 병행하고 있습니다. 궁극적으로 리플링은 AI 지출을 단순히 줄이는 것을 넘어, 각 기능에서 AI 사용이 실제 고객 온보딩 증가와 같은 구체적인 생산성 향상으로 이어지는지 측정하는 것이 중요하다고 강조합니다. 이처럼 AI 사용의 ROI(투자수익률)를 명확히 연결하지 못한다면, 모든 직원이 AI에 자유롭게 접근하기 어려워질 수 있음을 시사합니다.