axem이 자체 개발한 AI 플랫폼 '쉐이드(Shaide)'를 오픈소스 프로젝트로 공개하며, 기업들이 자체 쿠버네티스(Kubernetes) 클러스터에서 여러 대규모 언어모델(LLM)을 쉽고 효율적으로 운영할 수 있는 길을 열었습니다. 쉐이드는 분산된 환경에서 다수의 AI 모델을 동시에 구동하고, 독립적으로 확장하며, 요청을 효율적으로 라우팅하는 복잡한 과정을 단일 플랫폼으로 통합해 제공합니다. 이는 외부 클라우드 서비스에 의존하지 않고도 재현 가능한 AI 인프라를 구축하려는 기업들에게 특히 유용합니다.
쉐이드는 추론 엔진, 서빙 오케스트레이터, 게이트웨이, 모델 레지스트리, 스토리지, 관측성(observability) 등 엔터프라이즈 AI 인프라 구축에 필요한 모든 요소를 단일 설치 가능한 플랫폼으로 제공합니다. 특히 vLLM을 추론 엔진으로 사용하고 llm-d로 멀티 인스턴스 오케스트레이션을 수행하며, 생성형 및 임베딩 모델을 동시에 서빙하고 GPU 노드에 걸쳐 독립적으로 확장할 수 있습니다. 또한, OpenAI 호환 API를 제공하여 기존 SDK나 에이전트 프레임워크를 그대로 활용할 수 있으며, 모든 계층이 Pulumi Go 프로그램으로 정의되어 인프라를 코드(Infrastructure as Code)로 관리할 수 있습니다.
이 플랫폼의 가장 큰 특징은 '주권형(Sovereign by design)' AI 인프라를 지향한다는 점입니다. 모든 데이터와 모델이 기업의 자체 인프라 내에 머물러야 하는 규제 산업, 국방, 공공 부문 등 데이터 보안이 최우선인 조직에 최적화되어 있습니다. 인터넷 연결이 전혀 없는 에어갭(air-gapped) 환경에서도 작동하도록 설계되어 외부 클라우드 의존성이나 데이터 유출 위험 없이 AI 모델을 운영할 수 있습니다. 이는 기업들이 민감한 데이터를 안전하게 보호하면서도 최신 AI 기술을 활용할 수 있는 강력한 대안을 제시하며, AI 도입의 장벽을 낮추는 데 기여할 것으로 기대됩니다.