인공지능(AI) 스타트업 사피옴(Sapiom)이 기업 고객들이 AI 모델을 운영하는 데 드는 비용을 획기적으로 줄일 수 있는 새로운 라우팅 솔루션을 발표했습니다. 이 솔루션은 여러 대규모 언어모델(LLM) 제공업체(예: OpenAI, Anthropic, Google 등)의 가격을 실시간으로 비교하여, 특정 작업에 가장 저렴한 토큰을 제공하는 모델로 요청을 자동 연결합니다. 이는 AI 서비스의 효율성을 높이면서도 비용 부담을 최소화하려는 기업들에게 매력적인 대안이 될 것으로 보입니다.
사피옴의 기술은 단순히 가격 비교를 넘어, 각 LLM의 성능과 지연 시간(latency)까지 고려하여 최적의 라우팅 결정을 내립니다. 예를 들어, 특정 질의에 대해 OpenAI의 GPT-4가 가장 정확하지만 비용이 비싸다면, 사피옴은 유사한 성능을 제공하면서도 비용이 저렴한 다른 모델(예: Anthropic의 Claude)로 요청을 전환할 수 있습니다. 이를 통해 기업들은 AI 운영 비용을 최대 80%까지 절감할 수 있으며, 이는 특히 AI 활용이 늘어나는 상황에서 중요한 이점으로 작용합니다. 사피옴은 이미 여러 초기 고객사와 협력하며 이 기술의 효과를 검증하고 있습니다.
이러한 솔루션은 AI 기술 도입을 망설이거나 이미 도입한 기업들에게 큰 의미를 가집니다. AI 모델 사용량 증가에 따른 비용 상승은 많은 기업에게 부담으로 작용해왔습니다. 사피옴의 접근 방식은 기업들이 특정 LLM 제공업체에 종속되지 않고, 시장 상황에 따라 유연하게 가장 효율적인 모델을 선택할 수 있도록 돕습니다. 이는 AI 시장의 경쟁을 촉진하고, 장기적으로는 AI 서비스의 가격 하향 안정화에도 기여할 수 있을 것으로 기대됩니다. 결과적으로 더 많은 기업이 AI 기술을 비용 효율적으로 활용할 수 있는 기반을 마련하게 될 것입니다.