AI 스타트업 트러스티드라우터(TrustedRouter)가 최근 125만 달러(약 17억 원) 규모의 시드(seed) 투자를 유치하며 업계의 주목을 받고 있습니다. 이 회사는 인공지능(AI) 모델, 특히 대규모 언어모델(LLM)의 추론(inference) 과정을 효율적으로 관리하고 최적화하는 기술을 개발하고 있습니다. 이는 AI 서비스 운영 비용을 절감하고 성능을 향상시키는 데 핵심적인 역할을 할 것으로 기대됩니다.
트러스티드라우터의 핵심 기술은 AI 모델의 추론 요청을 여러 모델이나 공급업체에 지능적으로 분배하여 가장 효율적인 경로를 찾는 데 있습니다. 예를 들어, 특정 요청에는 더 작고 저렴한 모델을 사용하고, 복잡한 요청에는 더 강력한 모델을 사용하는 식입니다. 이를 통해 기업들은 AI 인프라 비용을 크게 줄이면서도 필요한 성능을 유지하거나 오히려 개선할 수 있습니다. 이번 투자는 제품 개발을 가속화하고 엔지니어링 및 영업 팀을 확장하는 데 사용될 예정입니다.
이번 투자는 AI 모델 운영 비용 절감이라는 중요한 시장 수요를 반영합니다. 대규모 언어모델(LLM)의 확산으로 AI 서비스 도입은 늘고 있지만, 추론 비용이 서비스 확장의 큰 걸림돌이 되고 있습니다. 트러스티드라우터와 같은 솔루션은 이러한 비용 문제를 해결하여 더 많은 기업이 AI를 효과적으로 활용할 수 있도록 돕습니다. 이는 AI 기술의 상업적 활용을 촉진하고, 장기적으로는 AI 서비스의 대중화를 앞당기는 데 기여할 것으로 보입니다.