AI 애플리케이션(AI app) 개발자들이 고객별 AI API 사용 비용을 효율적으로 관리할 수 있도록 돕는 오픈소스 라이브러리 'LLMBrake'가 공개되었습니다. 이 라이브러리는 OpenAI(오픈AI) 및 Anthropic(앤트로픽) 등 OpenAI 호환 API를 사용하는 서비스에서 고객별로 월별 예산을 설정하고, 예산 소진 시 자동으로 더 저렴한 AI 모델로 전환하거나 API 호출을 차단하는 기능을 제공합니다.
LLMBrake는 TypeScript(타입스크립트) 기반의 경량 라이브러리로, 개발자의 애플리케이션 내에서 직접 실행되며, OpenAI의 `chat.completions.create`와 같은 API 호출을 래핑(wrapping)합니다. 각 API 호출의 토큰 사용량을 기반으로 비용을 계산하고 고객별 월별 지출을 추적합니다. 예를 들어, 고객의 예산이 80%에 도달하면 `gpt-5.5` 요청을 `gpt-5.4-mini`와 같은 저렴한 모델로 자동 전환하고, 예산을 완전히 소진하면 `BudgetExceededError`를 발생시켜 추가 호출을 막습니다. 이 과정에서 고객의 프롬프트나 응답 내용은 저장하지 않고, 오직 메타데이터(고객 ID, 모델, 토큰 수, 비용 등)만 기록하여 개인정보 보호에도 신경 썼습니다.
이 솔루션은 AI 서비스 제공자들이 겪는 가장 큰 어려움 중 하나인 예측 불가능한 AI 모델 사용 비용을 통제하는 데 핵심적인 역할을 할 것으로 기대됩니다. 특히, 다양한 요금제를 운영하거나 무료 체험 기간을 제공하는 AI 스타트업들에게는 필수적인 도구가 될 수 있습니다. 고객별로 맞춤형 예산 정책을 적용하고, 비용 초과 시 사용자에게 업그레이드를 유도하는 등 유연한 비즈니스 모델을 구축하는 데 기여할 것입니다. 또한, Vercel AI SDK, OpenRouter, LangChain.js 등 주요 AI 개발 프레임워크와의 연동 예시를 제공하여 개발자들이 쉽게 도입할 수 있도록 지원합니다.