기업 비용 관리 플랫폼 램프(Ramp)가 자체 AI 모델 라우팅 서비스인 '라우터(Router)'를 선보이며 AI 추론(inference) 시장에 뛰어들었습니다. 이 서비스는 사용자와 기업이 단일 API를 통해 다양한 대규모 언어모델(LLM)을 손쉽게 활용하고 필요에 따라 전환할 수 있도록 설계되었습니다. 램프는 지난 3년간 자사의 AI 활용을 위해 이 라우터를 내부적으로 사용해왔다고 밝혔습니다.
라우터는 오픈AI(OpenAI), 앤트로픽(Anthropic), 딥시크(DeepSeek), 문샷(Moonshot), 미니맥스(Minimax), 엔비디아(Nvidia), xAI, Z.ai 등 여러 주요 AI 모델 제공업체의 모델에 접근을 제공합니다. 특히, 사용자의 선호도에 따라 AI 요청을 모델에 라우팅하는 다양한 '전략'을 제공하는 것이 특징입니다. 예를 들어, 사용자는 모델 제공업체의 유연한 사용 계층을 선호하도록 설정하거나, 최대 세 가지 사용자 지정 벤치마크를 기반으로 라우터가 쿼리를 라우팅할 모델을 선택하도록 할 수 있습니다. 또한, 어려운 문제만 고비용 모델로 라우팅하거나 모델을 쉽게 테스트할 수 있는 기능도 제공됩니다. 사용자 대시보드를 통해 토큰 사용량, 비용, 지연 시간, 대체 시도 등 상세한 정보를 확인할 수 있습니다. 현재 이 서비스는 미국에서만 이용 가능하며, 2026년 말까지는 무료로 제공되지만 AI 모델 추론 비용은 별도로 지불해야 합니다.
램프가 AI 모델 라우팅 사업에 진출한 것은 두 가지 중요한 기회를 포착하기 위함입니다. 첫째, 급성장하는 AI 추론 시장에 진입하여 새로운 수익원을 확보할 수 있습니다. 둘째, 기존의 비용 관리 제품군(AI 토큰 사용량 모니터링 및 토큰 지출 관리 포함)과 시너지를 내어 기존 고객들에게 더욱 통합적인 AI 비용 관리 솔루션을 제공할 수 있습니다. 만약 라우터가 오픈라우터(OpenRouter)처럼 매력적인 모델 테스트 환경으로 자리매김한다면, 램프는 전 세계 AI 연구소 및 추론 제공업체들과 장기적인 관계를 구축하여 새로운 고객을 유치하고 자사의 비용 관리 제품을 판매할 새로운 진입점을 확보할 수 있을 것으로 기대됩니다.