아우리코(Auriko)가 여러 대규모 언어모델(LLM) 제공사를 마치 주식 거래소처럼 활용하여 AI 모델 호출 비용을 최적화하는 새로운 솔루션을 선보였습니다. 이 플랫폼은 다양한 LLM 공급자들 사이에서 실시간으로 가격과 성능을 비교, 분석하여 사용자 요청에 가장 적합하고 경제적인 추론(inference) 경로를 자동으로 선택해 줍니다.
전직 퀀트 트레이더들이 개발한 아우리코의 핵심은 '비용 차익 거래(cost-arbitrage) 엔진'입니다. 이 엔진은 토큰 가격, 캐시 동작, 지연 시간(latency), 신뢰성(reliability), 요청 품질 등 여러 요소를 종합적으로 고려하여 각 사용자의 요청 패턴에 맞춰 최적의 LLM 추론 경로를 찾아냅니다. 아우리코 자체 벤치마크 결과에 따르면, 이 솔루션을 통해 기존 방식이나 다른 서비스 대비 평균 30%의 비용 절감 효과를 얻을 수 있다고 합니다. 이는 LLM 사용량이 많은 기업들에게 상당한 운영 효율성을 제공할 수 있는 수치입니다.
아우리코의 등장은 AI 인프라 운영의 복잡성을 줄이고 비용 효율성을 극대화하려는 기업들에게 중요한 의미를 가집니다. 여러 LLM을 동시에 활용하면서도 최적의 성능과 비용 균형을 맞추기 어려웠던 기업들은 이제 아우리코의 통합 API를 통해 이러한 고민을 덜 수 있게 됩니다. 이는 AI 서비스 개발 및 운영의 진입 장벽을 낮추고, 더 많은 기업이 AI 기술을 효과적으로 도입할 수 있도록 돕는 촉매제가 될 것입니다.