MoE-Direct 프로젝트가 일반 소비자용 데스크톱 PC에서 시스템 램(RAM) 용량을 훨씬 뛰어넘는 대규모 혼합전문가(MoE) 모델을 구동하는 혁신적인 기술을 공개했습니다. 기존에는 수백 기가바이트(GB)에 달하는 거대 AI 모델을 실행하려면 고가의 서버급 하드웨어가 필수적이었으나, MoE-Direct는 32GB 램, RTX 5080 GPU, Gen5 NVMe SSD를 갖춘 일반 PC에서도 400GB가 넘는 모델을 실행하는 데 성공했습니다. 이 기술은 개인 사용자도 로컬 환경에서 대규모 AI 모델을 활용할 수 있는 새로운 지평을 열었다는 평가를 받고 있습니다.
이 기술의 핵심은 MoE 모델의 특성을 활용하는 것입니다. MoE 모델은 모든 전문가(expert)를 동시에 사용하는 것이 아니라, 특정 토큰(token)을 처리할 때 소수의 전문가만 활성화하는 구조를 가집니다. MoE-Direct는 이 점에 착안하여 모델 전체를 램에 올리는 대신, 필요한 전문가만 NVMe SSD에서 실시간으로 스트리밍(streaming) 방식으로 불러와 램과 VRAM에 캐싱합니다. 이를 통해 Qwen3.5-122B(72.8GB) 모델을 초당 5.59~5.69 토큰(tok/s)으로 디코딩(decoding)하고, 심지어 436GB에 달하는 Kimi K2.6 모델도 초당 1.03 토큰으로 구동하는 성능을 보여주었습니다. 이는 모델의 재양자화(re-quantization)나 라우팅(routing) 변경 없이 원본 가중치(weights)를 그대로 사용한다는 점에서 주목할 만합니다.
MoE-Direct의 등장은 대규모 언어모델(LLM)의 접근성을 획기적으로 높여줄 잠재력을 가지고 있습니다. 그동안 고성능 하드웨어의 제약으로 인해 개인 개발자나 소규모 기업은 거대 AI 모델을 로컬에서 직접 활용하기 어려웠습니다. 하지만 이 기술을 통해 일반적인 데스크톱 환경에서도 최신 MoE 모델을 실행하고 테스트할 수 있게 되면서, 새로운 AI 애플리케이션 개발 및 연구에 박차를 가할 수 있을 것으로 기대됩니다. 또한, 클라우드 기반 AI 서비스에 대한 의존도를 줄이고 데이터 프라이버시(privacy)를 강화하는 온프레미스(on-premise) AI 솔루션의 확산에도 기여할 수 있을 것입니다.