메타(Meta)가 소비자용 하드웨어에서 직접 실행할 수 있는 30B 파라미터 규모의 로컬 에이전트 코딩 모델 '뮤즈 글리머(Muse Glimmer)'를 아파치 2.0 라이선스로 공개했습니다. 이 모델은 단일 소비자용 GPU를 장착한 맥(Mac)이나 PC에서도 구동되도록 최적화되어, 클라우드 연결 없이도 다양한 에이전트 작업을 수행할 수 있습니다. 이는 개인 기기에서 AI를 활용하는 새로운 가능성을 열어줄 것으로 기대됩니다.
뮤즈 글리머는 제한된 메모리와 연산 성능에 대응하기 위해 여러 고급 학습 및 최적화 기법을 적용했습니다. 대형 교사 모델의 에이전트 추론(inference)을 전달하는 로짓 증류(logit distillation)와 장문맥 중간 학습(long-context intermediate learning), 지도 미세조정(supervised fine-tuning) 및 강화 학습(reinforcement learning)을 조합했습니다. 또한, 완전 정밀도에서 55GB 이상 필요한 모델을 약 4비트 정밀도로 양자화(quantization)하여 20GB 미만의 메모리만으로 실행 가능하게 만들었고, DFlash 기반의 추측 디코딩(speculative decoding)을 통해 출력 품질을 유지하면서 생성 속도를 크게 높였습니다. 이 모델은 함수 호출, 장기 다단계 추론, 도구 오류 복구, 코드 작성 및 디버깅, 텍스트 및 이미지 처리 등 100개 이상의 언어로 학습된 다양한 기능을 지원합니다.
이번 뮤즈 글리머의 출시는 AI 활용의 패러다임을 클라우드 중심에서 온디바이스(on-device) 중심으로 확장하는 중요한 전환점이 될 수 있습니다. 사용자는 클라우드 서비스의 제약이나 비용 부담 없이 개인 정보 보호가 강화된 환경에서 AI 에이전트를 활용할 수 있게 됩니다. 특히 개발자들에게는 로컬 환경에서 강력한 코딩 지원 도구를 활용하여 생산성을 높이고, 특정 작업에 최적화된 맞춤형 에이전트를 구축할 수 있는 기회를 제공할 것입니다. 이는 AI 기술이 더욱 보편화되고 개인화되는 데 기여하며, 향후 다양한 온디바이스 AI 애플리케이션 개발을 촉진할 것으로 예상됩니다.