최근 대규모 언어모델(LLM)을 활용하는 애플리케이션 개발이 활발해지면서, 어떤 모델을 사용할지, 그리고 비용을 어떻게 효율적으로 관리할지가 중요한 과제로 떠올랐습니다. 이러한 고민을 해결하기 위해 '위브 라우터(Weave Router)'라는 새로운 솔루션이 등장했습니다. 위브 라우터는 앤트로픽(Anthropic), 오픈AI(OpenAI), 제미니(Gemini) 등 다양한 LLM API를 하나의 엔드포인트로 묶어주고, 들어오는 프롬프트(prompt)마다 최적의 모델을 자동으로 선택해주는 드롭인(drop-in) 프록시(proxy)입니다.
위브 라우터의 핵심은 프롬프트의 '감(vibes)'이 아닌, 온박스 임베더(on-box embedder) 기반의 클러스터 스코어러(cluster scorer)를 통해 프롬프트를 분석하고 가장 적합한 모델을 판단한다는 점입니다. 이는 어벤져스-프로(Avengers-Pro)에서 파생된 방식으로, 매 턴(turn)마다 라우팅 결정을 내립니다. 이 시스템은 모든 프롬프트를 50밀리초(ms) 이내에 올바른 모델로 라우팅하며, 엔드포인트 변경만으로도 LLM 추론 비용을 40~70%까지 절감할 수 있다고 합니다. 앤트로픽 메시지(Anthropic Messages), 오픈AI 챗 컴플리션(OpenAI Chat Completions), 제미니 네이티브 API를 모두 지원하며, 스트리밍, 툴 사용, 비전 기능까지 폭넓게 커버합니다. 또한 딥시크(DeepSeek), 키미(Kimi), GLM, 취엔(Qwen), 라마(Llama), 미스트랄(Mistral) 등 오픈소스 모델도 오픈라우터(OpenRouter)나 오픈AI 호환 엔드포인트를 통해 사용할 수 있습니다. 고객의 키(BYOK)를 기본으로 하며, 공급자 키는 로컬에 암호화하여 저장되어 보안성도 높였습니다.
이러한 모델 라우팅 기술은 LLM 기반 에이전트(agent) 개발자들에게 매우 중요한 의미를 가집니다. 다양한 LLM의 장단점과 비용 구조를 일일이 파악하고 최적화하는 복잡한 과정을 자동화하여 개발 효율성을 크게 높일 수 있습니다. 특히, 특정 작업에 더 적합하거나 비용 효율적인 모델을 동적으로 선택함으로써, 전체 시스템의 성능을 향상시키고 운영 비용을 절감하는 데 기여합니다. 이는 LLM 추론 마진 붕괴가 예상되는 상황에서 개발자들이 경쟁력을 유지하고 새로운 서비스를 창출하는 데 필수적인 요소가 될 것입니다. 위브 라우터와 같은 솔루션은 LLM 생태계의 복잡성을 줄이고, 개발자들이 핵심 비즈니스 로직에 더 집중할 수 있도록 돕는 중요한 인프라 기술로 자리매김할 것으로 보입니다.