AI 서비스 개발 및 운영 비용은 많은 스타트업과 개발자들에게 큰 부담으로 작용합니다. 이러한 문제를 해결하기 위해 오픈소스 AI 게이트웨이 '미저(Miser)'가 등장했습니다. 미저는 OpenAI 호환 요청을 받아 OpenRouter를 통해 가장 저렴하고 적합한 모델로 자동 라우팅하여 AI 추론(inference) 비용을 최적화하는 것을 목표로 합니다.
미저는 Rust 기반으로 개발되었으며, 요청을 분류하는 다양한 모드를 제공합니다. '휴리스틱(heuristic)' 모드는 제로 비용으로 로컬 구조 및 정규 표현식 분류를 수행하며, '로컬 LLM(local LLM)' 및 '클라우드 LLM(cloud LLM)' 모드는 각각 로컬 또는 클라우드 기반의 OpenAI 호환 분류기를 사용합니다. 기본 설정인 '하이브리드(hybrid)' 모드는 낮은 지연 시간의 휴리스틱 결과를 우선하고, 모호한 요청에 대해서만 제한적으로 로컬/클라우드 모델 호출을 시도하여 효율성을 극대화합니다. 미저는 상태 비저장(stateless) 방식으로 작동하며, 스트리밍 응답을 전달하고 라우팅 메타데이터를 'x-miser-*' 헤더를 통해 노출합니다.
자체 벤치마크 결과에 따르면, 미저의 휴리스틱 분류 방식은 OpenRouter Auto보다 더 정확하고 훨씬 낮은 지연 시간으로 모델 티어(tier)를 분류했습니다. 또한, 완성도(completion-quality) 벤치마크에서는 미저 오토(Miser Auto)가 OpenRouter Auto나 GPT-4.1-mini보다 높은 품질과 통과율을 보였습니다. 이는 미저가 단순히 비용 절감뿐만 아니라, 특정 기준에 맞춰 품질까지 향상시킬 수 있는 잠재력을 가졌음을 시사합니다. 이러한 기능은 AI 모델 사용 비용을 절감하면서도 서비스 품질을 유지하거나 개선하려는 개발자들에게 매우 유용할 것입니다.