KT가 기업 고객을 위한 새로운 인공지능(AI) 솔루션인 'NPU LLM 스테이션(NPU LLM Station)'을 공개했습니다. 이 솔루션은 기업이 자체 데이터센터나 사무실에 직접 설치하여 운영하는 온프레미스(On-premise) 방식의 AI 서버로, 대규모 언어모델(LLM)을 기업 내부에서 안전하게 구축하고 활용할 수 있도록 설계되었습니다. 이는 민감한 기업 데이터를 외부 클라우드에 의존하지 않고 자체적으로 관리하려는 기업들의 요구를 충족시킬 것으로 보입니다.
'NPU LLM 스테이션'은 엔비디아(NVIDIA)의 고성능 그래픽처리장치(GPU) 대신 KT가 자체 개발한 신경망처리장치(NPU)를 활용하여 LLM을 구동하는 것이 특징입니다. 이를 통해 비용 효율성을 높이고 전력 소비를 최적화할 수 있습니다. KT는 이 솔루션을 통해 기업들이 자체 데이터를 활용하여 특정 업무에 특화된 소규모 언어모델(sLLM)을 미세조정(fine-tuning)하거나, 기존 LLM을 기업 환경에 맞게 최적화하는 것을 지원할 예정입니다. 이는 금융, 제조, 공공 등 다양한 산업 분야에서 맞춤형 AI 서비스 도입을 가속화할 수 있는 기반이 될 것입니다.
이번 KT의 'NPU LLM 스테이션' 출시는 국내 기업들이 AI 전환을 추진하는 데 있어 중요한 의미를 가집니다. 특히 데이터 보안과 규제 준수가 중요한 산업 분야의 기업들은 클라우드 기반 LLM 도입에 부담을 느껴왔습니다. 온프레미스 솔루션은 이러한 기업들이 데이터 유출 우려 없이 AI 기술을 적극적으로 도입하고 활용할 수 있는 대안을 제시합니다. 이는 국내 AI 생태계를 확장하고, 기업들이 자체적인 AI 역량을 강화하는 데 기여할 것으로 기대됩니다.