AI 인프라 소프트웨어 기업 래블업이 최근 연례 기술 컨퍼런스 'lab | up > /conf/6'에서 AI 모델 운영의 복잡성을 해결할 두 가지 핵심 제품, '컨티넘 라우터(Continuum Router)'와 '컨티넘 허브(Continuum Hub)'를 공개했습니다. 이 솔루션들은 기업이 다양한 AI 모델을 도입하고 활용하는 과정에서 발생하는 비효율을 줄이고, AI 연산 자원을 더욱 체계적으로 관리할 수 있도록 돕는 것이 목표입니다.
컨티넘 라우터는 기업이 여러 AI 모델을 사용할 때, 들어오는 요청을 가장 적합한 모델로 자동으로 연결해주는 소프트웨어입니다. 예를 들어, 특정 질문은 챗봇 모델로, 이미지 분석 요청은 비전 AI 모델로 보내는 식입니다. 컨티넘 허브는 AI 모델의 처리 단위인 토큰(token)의 사용량, 과금 정책, 그리고 전반적인 사용량을 중앙에서 관리하는 시스템입니다. 래블업은 이 두 제품을 통해 AI 연산을 토큰 단위로 생산하고 관리하는 '토큰팩토리(Token Factory)'라는 새로운 개념을 제시하며, AI 자원 관리의 표준화를 시도하고 있습니다. 이번 컨퍼런스에서는 엔비디아(NVIDIA), VAST Data, kt cloud, 퓨리오사AI 등 다양한 파트너사들이 참여하여 AI 추론(inference) 최적화, AI 에이전트(agent), 플랫폼 엔지니어링 등 AI 운영 현장의 기술 과제들을 논의했습니다.
래블업의 이번 발표는 AI 기술이 연구와 개발 단계를 넘어 실제 산업 현장에 깊숙이 적용되는 '산업의 시대'로 진입하고 있음을 보여줍니다. 기업들은 특정 목적에 맞는 다양한 AI 모델을 동시에 활용하려는 니즈가 커지고 있지만, 각 모델을 개별적으로 관리하고 최적화하는 데 많은 시간과 비용을 들이고 있습니다. 컨티넘 라우터와 허브는 이러한 AI 운영의 병목 현상을 해소하고, AI 자원의 효율적인 배분과 비용 관리를 가능하게 함으로써 기업들이 AI 도입의 문턱을 낮추고 혁신을 가속화할 수 있도록 지원할 것으로 기대됩니다. 이는 AI 기술이 더욱 보편화되고 다양한 산업 분야에서 실질적인 가치를 창출하는 데 중요한 역할을 할 것입니다.