인텔이 대규모 언어모델(LLM)의 추론(inference) 효율성을 극대화하기 위한 소프트웨어 스택인 LLM 스케일러(LLM-Scaler)를 대폭 업데이트했습니다. 이번 업데이트의 핵심은 인텔의 자체 LLM인 뮤즈 글리머(Muse Glimmer)를 비롯해 다양한 오픈소스 LLM에 대한 지원을 강화하고, 여러 GPU를 활용하는 분산 추론 기능을 개선한 것입니다. 이는 개발자들이 인텔 하드웨어에서 LLM을 더 빠르고 효율적으로 구동할 수 있도록 지원하며, 궁극적으로 LLM의 접근성과 활용도를 높이는 데 기여할 것으로 보입니다.
LLM 스케일러는 LLM 추론 과정에서 발생하는 메모리 병목 현상을 줄이고, GPU 활용률을 높이는 데 중점을 둡니다. 특히 이번 버전에서는 인텔의 데이터센터 GPU인 가우디(Gaudi)와 아크(Arc) GPU에서 뮤즈 글리머의 성능을 최적화했으며, 라마(Llama) 2, 미스트랄(Mistral) 등 널리 사용되는 다른 LLM에 대한 지원도 강화했습니다. 또한, 여러 GPU에 걸쳐 모델을 분할하여 추론하는 분산 추론(distributed inference) 기능을 개선함으로써, 단일 GPU의 한계를 넘어 더 큰 모델을 효율적으로 처리할 수 있게 되었습니다. 이는 특히 대규모 언어모델의 운영 비용을 절감하는 데 중요한 역할을 합니다.
이번 인텔의 LLM 스케일러 업데이트는 AI 개발 생태계에 중요한 의미를 가집니다. LLM 추론은 학습(training)만큼이나 많은 컴퓨팅 자원을 요구하며, 효율적인 추론은 서비스 비용과 직결됩니다. 인텔이 자사 하드웨어에 최적화된 소프트웨어 스택을 제공함으로써, 개발자들은 인텔 GPU를 활용하여 비용 효율적으로 LLM 기반 서비스를 구축하고 운영할 수 있게 될 것입니다. 이는 엔비디아(NVIDIA)가 지배적인 AI 하드웨어 시장에서 인텔이 경쟁력을 확보하고, 더 많은 개발자들이 인텔 플랫폼을 선택하도록 유도하는 전략의 일환으로 해석됩니다.