최근 대규모 언어모델(LLM) 분야에서 각광받는 혼합 전문가(MoE) 모델의 추론(inference) 속도를 획기적으로 개선하는 새로운 분산 서빙 시스템 'Director'가 발표되었습니다. 이 시스템은 GPU에 전문가(expert)를 배치하는 방식을 최적화하여, 모델의 통신 및 연산 지연 시간을 최소화함으로써 전반적인 성능을 향상시킵니다. 기존 방식들이 과거 요청 패턴에 의존하여 변화에 취약했던 것과 달리, Director는 실시간 예측 기반의 능동적인 접근 방식을 채택한 것이 특징입니다.
Director는 크게 세 가지 핵심 기술로 구성됩니다. 첫째, 경량화된 예측기(predictor) 또는 저비트(low-bit) 양자화된 복제본을 활용하여 들어오는 요청의 전문가 활성화 패턴을 미리 예측합니다. 둘째, 예측된 패턴에 따라 전문가 배치를 최적화하는 온라인 마이그레이션 모듈은 컴퓨팅 집약적인 단계에서 마이그레이션을 실행하여 거의 제로에 가까운 서비스 중단 시간(downtime)으로 변경 사항을 적용합니다. 셋째, NP-난해(NP-hard) 문제인 최적화 문제를 다항 시간(polynomial time) 내에 해결하는 이완 기반(relaxation-based) 전문가 배치 최적화 알고리즘을 통해, 용량 제약 조건 하에서도 (1+ε) 근사 비율을 달성하며 효율적인 전문가 배치를 보장합니다.
연구팀은 Mistral, DeepSeek, Qwen 등 널리 사용되는 MoE 모델을 대상으로 Director 프로토타입을 실험한 결과, 기존 시스템 대비 종단 간(end-to-end) 지연 시간을 11%에서 최대 55%까지 단축하는 데 성공했습니다. 이는 다양한 요청 패턴과 빠르게 변화하는 환경에서도 MoE 모델의 효율적인 분산 서빙이 가능함을 입증한 것입니다. Director의 등장은 대규모 AI 모델의 서비스 비용을 절감하고 사용자 경험을 개선하는 데 중요한 진전을 가져올 것으로 보입니다.