최근 대규모 언어모델(LLM)의 효율적인 확장을 위해 혼합 전문가(MoE, Mixture-of-Experts) 아키텍처가 널리 채택되고 있지만, 각 MoE 레이어가 모델 성능에 얼마나 기여하는지에 대한 이해는 부족했습니다. 특히 모델 압축(model compression) 관점에서 어떤 레이어가 더 중요한지에 대한 체계적인 분석이 필요했습니다. 이러한 배경에서 새로운 연구는 MoE 모델의 레이어별 민감도를 체계적으로 분석하여 모델 경량화의 새로운 가능성을 제시했습니다.
프라딥 쿠마 샤르마(Pradeep Kumar Sharma) 외 연구진은 Qwen3.6-35B-A3B 모델(40개 MoE 레이어, 레이어당 256개 전문가, 상위 8개 라우팅)을 대상으로 XLCoST 교차 언어 코드 번역 벤치마크에서 깊이 인식 민감도 분석(depth-aware sensitivity analysis)을 수행했습니다. 이들은 '크기 기반 전문가 마스킹(magnitude-based expert masking)' 기법을 사용하여 각 레이어의 전문가들을 제거했을 때 모델 성능 변화를 측정했습니다. 연구 결과, 모델의 초기 레이어(0~9)와 중간 레이어(10~29)는 전문가 마스킹에 매우 취약한 반면, 후반부 레이어(30~39), 특히 아주 후반부 레이어(35~39)는 낮은 중요도를 가진 전문가들을 과감하게 마스킹해도 성능 저하가 크지 않다는 것을 발견했습니다.
예를 들어, 모든 레이어에서 30%의 전문가를 마스킹하면 300개 프롬프트 중 '양호+유사(Good+Similar)' 출력이 150개에 불과했지만, 후반부 레이어에 집중하여 마스킹하는 정책을 사용하면 640~1,145개의 전문가를 마스킹하고도 249~255개의 '양호+유사' 출력을 유지했습니다. 특히, 아주 후반부 레이어(35~39)에서 50%의 전문가를 마스킹하는 정책은 전체 10,240개 전문가 중 640개만 마스킹하고도 500개 프롬프트 중 419개의 '양호+유사' 출력을 유지하며 가장 강력한 품질/마스킹 효율성을 보였습니다. 이러한 발견은 MoE 모델의 물리적 가중치 제거(physical weight surgery), 활성화 기반 전문가 점수화(activation-based expert scoring), 그리고 훈련 기반 복구(training-based recovery) 등 다양한 모델 압축 및 최적화 기법 개발에 중요한 실질적인 기반을 제공합니다.