데이터그라우트(DataGrout)가 대규모 언어모델(LLM) API 사용량과 비용을 실시간으로 추적하는 무료 도구 '루멘(Lumen)'을 공개했습니다. 이 도구는 개발자들이 LLM을 활용할 때 발생하는 토큰 사용량과 이에 따른 비용을 투명하게 파악하고 관리할 수 있도록 돕는 것을 목표로 합니다. 마치 맥(macOS)의 활동 모니터(Activity Monitor)처럼 AI 지출을 한눈에 보여주는 것이 특징입니다.
루멘은 macOS 상태 표시줄 앱 형태로 제공되며, 사용자의 LLM API 트래픽을 가로채 토큰 사용량과 비용 메타데이터를 추출합니다. 이를 실시간 게이지 인터페이스로 시각화하여 보여주며, OpenAI, Anthropic, Cursor, Google AI 등 다양한 LLM 제공사를 지원합니다. 입력 토큰과 출력 토큰을 구분하여 보여주고, 캐시(cache) 적중 여부까지 시각화해줍니다. 또한, 모든 API 호출 기록을 모델, 토큰, 비용과 함께 스크롤 가능한 이벤트 피드(event feed)로 제공하여 상세 분석을 돕습니다. 특정 세션의 비용을 비교할 수 있는 랩(Lap) 추적 기능도 포함되어 있습니다.
이러한 실시간 모니터링 기능은 LLM 기반 애플리케이션을 개발하고 운영하는 과정에서 비용 최적화에 큰 도움을 줄 수 있습니다. 개발자들은 루멘을 통해 예상치 못한 비용 지출을 방지하고, 어떤 모델이나 프롬프트(prompt)가 더 효율적인지 즉각적으로 판단할 수 있게 됩니다. 특히, 1인 개발자나 소규모 팀에게는 제한된 예산 안에서 AI 서비스를 효율적으로 운영하는 데 필수적인 도구가 될 것으로 보입니다. 루멘은 프라이버시를 최우선으로 하여 메시지 내용은 저장하거나 전송하지 않고, 오직 토큰 수와 가격 메타데이터만 캡처합니다.