엔비디아(NVIDIA) 네모(NeMo) 팀이 대규모 언어모델(LLM) 사용 비용을 최적화하는 새로운 도구 '스위치야드(Switchyard)'를 선보였습니다. 스위치야드는 LLM 라우터로, 들어오는 모든 요청을 고성능의 비싼 모델에 전송하는 대신, 해당 작업을 처리할 수 있는 가장 비용 효율적인 모델을 지능적으로 선택해 연결해주는 역할을 합니다. 이는 LLM 활용이 늘면서 발생하는 높은 운영 비용 문제를 해결하는 데 중점을 둡니다.
스위치야드는 오픈AI(OpenAI)의 챗 컴플리션(Chat Completions) 및 앤트로픽(Anthropic)의 메시지(Messages) API 형식을 지원하여 기존 LLM 클라이언트의 연결 주소만 프록시로 변경하면 바로 사용할 수 있습니다. 이 라우터는 요청을 먼저 분류하거나, 작업 진행 상황을 모니터링하고, 저렴한 모델의 답변을 평가한 후 필요시 더 강력한 모델에 재요청하는 등 다양한 라우팅 전략을 제공합니다. 특히 '스테이지 라우터(Stage Router)'는 도구 실행 이력을 분석하여 오류 복구와 같은 복잡한 작업에는 강력한 모델을, 정형화된 작업에는 저렴한 모델을 할당하는 방식으로 효율성을 극대화합니다. 이러한 판단은 기본적으로 추가 LLM 호출 없이 이루어지며, 판단이 모호할 때만 LLM 분류기를 활용하도록 설정할 수 있습니다.
스위치야드는 네모 릴레이(NeMo Relay) 및 라이트LLM(LiteLLM) 플러그인과 연동하거나 파이썬(Python) 및 러스트(Rust) 라이브러리로 기존 게이트웨이 및 에이전트에 내장할 수 있습니다. 라이브러리 형태로 내장할 경우, 모델 선택은 스위치야드가 담당하고 실제 호출 및 인증, 재시도는 기존 애플리케이션이 처리합니다. 또한, 독립적인 프록시 서버인 '스위치야드-서버(switchyard-server)'도 제공하여 요청 수, 오류, 지연 시간, 토큰 사용량 및 라우팅 부가 비용 등을 프로메테우스(Prometheus)를 통해 모니터링할 수 있습니다. 현재 스위치야드는 1.0 이전 단계로, 핵심 라이브러리는 베타, 모델 호출/변환 및 실행 구성요소는 알파 단계이며, 독립 서버는 데모 및 평가용으로 제공됩니다.
이러한 LLM 라우터의 등장은 LLM 기반 서비스 개발자와 기업들에게 중요한 의미를 가집니다. LLM 활용이 보편화되면서 모델 호출 비용이 주요 운영 부담으로 작용하고 있는데, 스위치야드와 같은 도구는 이러한 비용을 효과적으로 관리할 수 있는 실질적인 해법을 제시합니다. 개발자들은 비용 효율성을 높이면서도 사용자 경험을 저해하지 않는 방식으로 LLM 애플리케이션을 구축할 수 있게 됩니다. 이는 특히 스타트업이나 중소기업이 제한된 예산으로도 고품질의 AI 서비스를 제공할 수 있는 기반을 마련해 줄 것입니다.