AMD가 인스팅트(Instinct) GPU를 활용해 학습시킨 개방형 전문가 혼합(Mixture-of-Experts, MoE) 대규모 언어모델(LLM)인 '인스텔라-MoE-16B-A3B'를 전격 공개했습니다. 이는 총 160억 개의 매개변수(parameter)를 가지고 있지만, 실제 추론(inference) 시에는 28억 개의 매개변수만 활성화되는 효율적인 구조를 채택하여, 성능과 비용 효율성이라는 두 마리 토끼를 잡으려는 시도로 평가됩니다.
인스텔라-MoE-16B-A3B는 AMD의 인스팅트 MI300X GPU에서 학습되었으며, 허깅페이스(Hugging Face)를 통해 모델 가중치(weights)와 학습 코드를 모두 공개하여 누구나 접근하고 활용할 수 있도록 했습니다. 이 모델은 추론 시에 전체 매개변수 중 일부 전문가(expert)만 선택적으로 사용함으로써, 기존의 밀집(dense) 모델 대비 훨씬 적은 컴퓨팅 자원으로도 유사하거나 더 나은 성능을 낼 수 있다는 장점이 있습니다. 이는 특히 대규모 언어모델의 운영 비용 절감에 크게 기여할 수 있는 기술입니다.
이번 AMD의 인스텔라-MoE 모델 출시는 AI 모델 개발 생태계에 중요한 의미를 가집니다. 엔비디아(NVIDIA)가 지배적인 AI 하드웨어 시장에서 AMD가 자체 GPU 기반의 고성능 개방형 LLM을 선보임으로써, AI 가속기 시장의 경쟁을 심화시키고 개발자들에게 더 많은 선택지를 제공할 것으로 보입니다. 또한, MoE 모델의 확산은 대규모 AI 모델의 접근성을 높이고, 더 많은 기업과 연구자들이 효율적인 방식으로 AI를 활용할 수 있는 기반을 마련할 것입니다.