최근 대규모 언어모델(LLM)의 효율적인 추론(inference)을 위해 각광받는 혼합 전문가(Mixture-of-Experts, MoE) 모델이 메모리 비효율성이라는 새로운 도전에 직면했습니다. MoE 모델은 전체 전문가 중 일부만 활성화하여 계산량을 줄이지만, 연속적인 토큰(token)들이 서로 다른 전문가를 호출하면서 저장 장치와 메모리 간에 가중치(weight)를 끊임없이 교환하는 '스와핑(swapping)' 현상이 발생합니다. 이는 특히 엣지 디바이스(edge device)와 같이 메모리 자원이 제한적인 환경에서 추론 속도를 저해하는 주요 원인이 됩니다.
이러한 문제를 해결하기 위해 알리 카이얌(Ali Kayyam) 연구자는 '스티키MoE(StickyMoE)'라는 새로운 학습 방식을 제안했습니다. 이 방식은 모델 아키텍처 변경 없이, 인접한 토큰들 사이에서 전문가 전환이 급격하게 일어나는 것에 페널티를 부여하는 미분 가능한 라우팅 일관성 손실(differentiable routing consistency loss)을 추가합니다. 이를 통해 라우터(router)가 의미론적으로 일관된 문맥(span) 내에서는 동일한 전문가 할당을 유지하도록 유도합니다. 실험 결과, 소규모 MoE 언어 모델에서 스티키MoE는 전문가 전환율을 최대 60%까지 줄이면서도 언어 모델의 성능 지표인 퍼플렉시티(perplexity) 저하를 4% 미만으로 유지하여, 기존 사후 미세조정(post-hoc fine-tuning) 방식보다 우수한 효율성을 보였습니다.
스티키MoE는 추론 시 메모리 효율성을 높이는 근본적인 해결책을 학습 단계에서부터 제공한다는 점에서 큰 의미가 있습니다. 기존 방식들이 캐싱(caching) 최적화나 사후 미세조정처럼 시스템 레벨 또는 후처리 단계에서 문제를 완화하려 했던 것과 달리, 스티키MoE는 모델이 처음부터 메모리 효율적인 라우팅 결정을 학습하도록 합니다. 이는 MoE 모델을 스마트폰, IoT 기기 등 엣지 환경에 배포할 때 발생하는 병목 현상을 크게 줄여, 더 빠르고 효율적인 AI 서비스 구현을 가능하게 할 것입니다. 궁극적으로는 대규모 AI 모델의 접근성을 높이고 활용 범위를 넓히는 데 기여할 것으로 기대됩니다.