WASTE(Weight-Aware Streaming Tensor Engine)라는 새로운 C 기반 추론 엔진이 2.78조 파라미터에 달하는 방대한 Kimi K3 대규모 언어모델(LLM)을 일반 소비자용 노트북에서도 구동할 수 있게 만들었습니다. 이 엔진은 모델을 축소하거나 증류하지 않고 982GiB 컨테이너 형태로 변환하여, 29GB RAM 환경에서도 초당 0.50토큰(tok/s)의 속도로 추론(inference)을 가능하게 합니다. 이는 기존에는 클라우드 데이터센터에서만 가능했던 초대형 모델의 로컬 실행 시대를 예고하며, 인터넷 연결이나 토큰당 비용 없이 AI를 활용할 수 있는 길을 엽니다.
WASTE의 핵심은 Mixture of Experts(MoE) 구조를 활용한 디스크 스트리밍 방식입니다. Kimi K3와 같은 MoE 모델은 토큰당 전체 모델의 약 4%에 해당하는 전문가 가중치(expert weights)만 활성화합니다. WASTE는 이 점을 활용해 모델의 상주 트렁크(trunk)만 RAM에 유지하고, 나머지 전문가 가중치는 필요할 때 NVMe SSD에서 읽어옵니다. 여기에 읽기와 연산을 중첩하고, 다음 계층 라우터(router)를 미리 실행하여 캐시 적중률을 14%에서 38%로 높이는 최적화 기법을 적용했습니다. 64GB MacBook Pro M5 Pro 환경에서는 46GB RAM 예산으로 0.45~0.62 tok/s의 성능을 기록했으며, 1TB에 가까운 저장 공간과 빠른 내부 NVMe SSD가 필수적입니다. 또한, 운영체제 페이징(paging)을 피하기 위해 RAM 예산을 52GB 미만으로 유지하는 것이 중요합니다.
이 기술은 대규모 AI 모델의 접근성을 획기적으로 높여, 클라우드 기반 AI 서비스의 비용과 지연 시간 문제를 해결할 잠재력을 가집니다. 특히 민감한 데이터를 다루는 기업이나 개인 사용자에게는 데이터 보안 측면에서 큰 이점을 제공합니다. 인터넷 연결 없이도 강력한 AI 모델을 사용할 수 있게 됨으로써, 오프라인 환경에서의 AI 활용 가능성도 확장됩니다. WASTE는 libwaste.a와 waste 실행 파일만으로 구성된 임베드 가능한 C 엔진으로, BLAS, CUDA, ONNX, Python과 같은 외부 의존성 없이 순수 C11 컴파일러와 make만으로 빌드할 수 있어 다양한 환경에 쉽게 통합될 수 있습니다. 이는 AI 모델 배포 및 활용 방식에 새로운 패러다임을 제시하며, AI 기술의 민주화에 기여할 것으로 기대됩니다.