김릿 랩스(Gimlet Labs)가 최근 분산 추론(disaggregated inference) 플랫폼 개발을 위해 3억 달러(약 4,000억 원) 규모의 투자를 유치하며 AI 인프라 시장의 새로운 강자로 떠올랐습니다. 이들의 기술은 대규모 언어모델(LLM)을 운영하는 데 필요한 막대한 컴퓨팅 자원, 특히 GPU 비용을 절감하는 데 초점을 맞추고 있어, AI 서비스 기업들에게 큰 기대를 모으고 있습니다.
김릿 랩스의 핵심 기술은 LLM 추론(inference) 과정을 GPU 메모리와 컴퓨팅 자원에서 분리하여 효율성을 극대화하는 것입니다. 기존에는 LLM 모델 전체가 하나의 GPU에 로드되어야 했지만, 김릿의 플랫폼은 모델의 일부만 필요한 시점에 GPU에 로드하고, 나머지 부분은 다른 저비용 메모리 또는 스토리지에 보관합니다. 이를 통해 고가의 GPU 자원을 훨씬 더 유연하고 경제적으로 사용할 수 있게 되며, 여러 모델을 동시에 운영하거나 트래픽 변동에 효율적으로 대응할 수 있습니다. 이는 특히 AI 서비스의 확장성과 비용 효율성 측면에서 중요한 진전으로 평가됩니다.
이번 투자는 급증하는 AI 서비스 수요와 함께 천정부지로 치솟는 GPU 비용 문제에 대한 해법을 찾는 업계의 절박함을 반영합니다. 김릿 랩스의 기술은 AI 모델 배포 및 운영의 경제성을 크게 개선하여, 더 많은 기업이 AI 기술을 도입하고 확장할 수 있는 기반을 마련할 것으로 기대됩니다. 이는 궁극적으로 AI 서비스의 대중화를 가속화하고, 새로운 AI 애플리케이션 개발을 촉진하는 중요한 전환점이 될 수 있습니다. AI 인프라 최적화는 앞으로도 AI 산업 성장의 핵심 동력이 될 것입니다.