최근 연구에서 대규모 언어모델(LLM)의 핵심 기술인 혼합 전문가(MoE) 모델에서 양자화(quantization)가 일으키는 예측치 못한 문제점이 밝혀졌습니다. MoE 모델은 여러 개의 작은 전문가(expert) 모델 중 입력 토큰(token)에 가장 적합한 전문가를 선택하는 라우팅(routing) 메커니즘을 사용하는데, 4비트 KV-캐시(KV-cache) 양자화와 같은 저정밀도 연산 환경에서 이 라우팅 결정이 뒤집히는 '라우트 뒤집힘(route flip)' 현상이 발생한다는 것입니다. 이는 모델의 전반적인 성능 저하로 이어질 수 있습니다.
이 연구는 새로운 해결책을 제시하기보다는, 이러한 라우팅 뒤집힘이 모델 손상에 기여하는 인과적 메커니즘을 분석하고 그 한계를 규명하는 데 중점을 두었습니다. OLMoE-1B-7B 모델에 4비트 KV-캐시 양자화를 적용한 결과, 전체 손상(damage)의 약 3분의 1(31%)이 라우팅 뒤집힘으로 인해 발생한다는 사실을 발견했습니다. 흥미로운 점은 라우팅 뒤집힘이 발생했는지 여부는 비교적 쉽게 감지할 수 있지만(AUC 0.772), 특정 뒤집힘이 모델 성능에 해로운 영향을 미치는지, 아니면 오히려 도움이 되는지 구별하는 것은 사실상 불가능하다는 것입니다. 즉, 어떤 라우팅 오류를 수정해야 할지 판단할 수 있는 신뢰할 만한 예측 변수를 찾지 못했습니다.
이러한 발견은 MoE 모델을 실제 서비스에 배포할 때 양자화로 인한 성능 저하를 관리하는 데 중요한 시사점을 제공합니다. 라우팅 뒤집힘의 유해성을 판단하기 어렵다는 것은, 특정 오류만 선택적으로 수정하여 성능을 개선하려는 시도가 현재로서는 효과적이지 않을 수 있음을 의미합니다. 따라서 MoE 모델의 효율적인 배포를 위해서는 양자화 과정에서 라우팅 견고성을 높이거나, 라우팅 오류의 영향을 최소화할 수 있는 새로운 접근 방식에 대한 연구가 더욱 필요할 것으로 보입니다.