최근 대규모 언어모델(LLM)의 효율적인 추론(inference)을 위해 희소 혼합 전문가(Sparse Mixture-of-Experts, MoE) 모델이 주목받고 있습니다. MoE 모델은 전체 파라미터 수는 방대하지만, 특정 토큰(token) 처리 시에는 일부 전문가(expert)만 활성화하여 연산량을 줄이는 방식입니다. 하지만 이런 장점에도 불구하고, 전체 모델의 크기가 여전히 커서 일반적인 로컬 기기나 통합 메모리(unified-memory) 시스템에서 구동하기 어렵다는 한계가 있었습니다.
크레이그 오피(Craig Opie)가 제안한 'MawForge'는 이러한 문제를 해결하기 위한 새로운 시스템 가설을 제시합니다. MawForge는 전체 MoE 모델을 디스크에 저장하고, 자주 사용되는 공통 텐서(common tensors)는 메모리에 상주시키며, 특정 토큰 처리 시 필요한 전문가 텐서만 요청에 따라 제한된 실행 캐시(execution cache)로 불러오는 방식을 사용합니다. 이는 마치 가상 메모리(virtual memory)처럼 필요한 부분만 그때그때 메모리에 올려 사용하는 개념으로, 메모리 제약이 있는 맥OS(macOS)와 같은 환경에서도 MoE 모델의 로컬 추론을 실용적으로 만들 수 있음을 보여줍니다.
MawForge의 핵심 발견은 이 방식이 로컬 MoE 추론을 위한 효과적인 제한된 실행 메커니즘이 될 수 있다는 점입니다. 성능은 전문가 재사용률, 상주 메모리 점유율, 키-값(KV) 캐시 크기, 양자화(quantization), 경로 지역성(route locality), 그리고 운영체제의 메모리 압력(memory pressure) 등 다양한 요소의 균형에 따라 달라집니다. 이 연구는 온디바이스(on-device) AI, 특히 모바일 기기나 엣지 디바이스(edge device)에서 대규모 AI 모델을 구동하려는 시도에 중요한 발판을 마련하며, 사용자에게 더 빠르고 개인화된 AI 경험을 제공할 잠재력을 가지고 있습니다.