최근 오픈소스 커뮤니티에 새로운 대규모 언어모델(LLM) 게이트웨이 '릴레이(Relay)'가 등장했습니다. 릴레이는 단일 Go 바이너리로 제공되며, OpenAI와 Anthropic의 API를 모두 지원하면서도 Gemini, Claude, Groq 등 다양한 LLM 제공업체로 트래픽을 라우팅할 수 있는 기능을 제공합니다. 가장 큰 특징은 자체 호스팅(self-hosted) 방식으로 운영되어 데이터 보안과 프라이버시를 강화하고, 평가(eval) 기반의 스마트 라우팅을 통해 비용과 성능을 최적화할 수 있다는 점입니다.
릴레이는 개발자가 기존에 사용하던 OpenAI 또는 Anthropic SDK를 그대로 활용하면서 백엔드에서 여러 LLM을 자유롭게 전환할 수 있도록 설계되었습니다. 정적 라우팅(static routing) 정책은 물론, 비용이 저렴한 모델과 고성능 모델을 트래픽 난이도에 따라 자동으로 분류하여 라우팅하는 '스마트 라우팅(smart routing)' 기능을 제공합니다. 이 스마트 라우팅은 내장된 평가 도구(eval harness)를 통해 모델의 응답 품질을 측정하고, 이를 기반으로 최적의 라우팅 경로를 학습합니다. 예를 들어, 간단한 질의는 저렴한 모델로, 복잡한 질의는 고성능 모델로 보내 비용을 최대 98%까지 절감하면서도 품질 저하를 최소화할 수 있습니다. 또한, 릴레이는 무단 데이터 전송(telemetry)을 일절 하지 않아 사용자 데이터의 주권을 보장합니다.
이러한 릴레이의 등장은 LLM 활용 기업과 개발자들에게 중요한 의미를 가집니다. 여러 LLM 제공업체 간의 종속성을 줄이고, 특정 모델에 문제가 생겼을 때 다른 모델로 빠르게 전환할 수 있는 유연성을 제공합니다. 특히, 자체 평가 시스템을 통해 실제 서비스 트래픽에 맞춰 모델 라우팅 전략을 최적화할 수 있다는 점은 비용 효율성과 사용자 경험 개선에 직접적인 영향을 미칩니다. 이는 LLM 기반 애플리케이션 개발의 복잡성을 줄이고, 더 안정적이고 경제적인 서비스 운영을 가능하게 하여 LLM 생태계 전반의 발전에 기여할 것으로 보입니다.