AI 모델 추론(inference) 서비스를 제공하는 스타트업 베이스텐(Baseten)이 15억 달러(약 2조 원) 규모의 대규모 투자 유치를 추진하고 있다는 보도가 나왔습니다. 이는 AI 모델 개발만큼이나 배포 및 운영의 중요성이 커지고 있음을 시사하며, AI 인프라 시장의 뜨거운 경쟁을 보여주는 사례입니다.
베이스텐은 개발자들이 대규모 언어모델(LLM)을 포함한 다양한 AI 모델을 쉽게 배포하고 관리할 수 있도록 돕는 플랫폼을 제공합니다. 특히, GPU 자원을 효율적으로 활용하여 추론 비용을 절감하고 성능을 최적화하는 데 중점을 둡니다. 이번 투자 유치 소식은 AI 모델을 실제 서비스에 적용하려는 기업들의 수요가 폭발적으로 증가하면서, 안정적이고 효율적인 추론 인프라의 필요성이 커지고 있음을 반영합니다.
이러한 움직임은 엔비디아(NVIDIA)가 지배하는 AI 하드웨어 시장에 새로운 소프트웨어 및 서비스 기반의 경쟁 구도를 가져올 수 있습니다. 베이스텐과 같은 추론 전문 플랫폼은 기업들이 특정 하드웨어에 얽매이지 않고 다양한 AI 모델을 유연하게 운영할 수 있도록 지원하며, 이는 장기적으로 AI 생태계의 다양성과 혁신을 촉진할 것으로 기대됩니다.