SQLiteAI가 'WASTE'(Weight-Aware Streaming Tensor Engine)라는 혁신적인 추론(inference) 엔진을 공개하며, 2.78조 파라미터(parameter)에 달하는 초대형 언어모델(LLM) 'Kimi K3'를 일반 소비자용 노트북에서 구동하는 데 성공했습니다. 이는 982GB에 달하는 모델을 단 29GB의 RAM과 NVMe SSD만으로 실행한 것으로, 기존에는 테라바이트(TB)급 DDR5 메모리를 갖춘 서버에서나 가능했던 일을 일반 기기에서 구현해냈다는 점에서 큰 의미를 가집니다.
WASTE 엔진은 모델의 핵심 부분(trunk)은 메모리에 유지하고, 추론에 필요한 전문가(expert) 가중치(weight)만 디스크에서 실시간으로 스트리밍하는 방식을 사용합니다. 나머지 RAM 공간은 전문가 캐시(cache)로 활용하여 효율성을 높였습니다. 현재 Kimi K3 모델은 64GB RAM을 탑재한 맥북 프로에서 초당 0.32~0.34 토큰(token)의 속도로 작동하며, 이는 문장 하나를 처리하는 데 약 50초가 걸리는 다소 느린 속도입니다. 하지만 이 기술은 모델을 축소하거나 경량화하지 않고 원본 그대로 실행했다는 점에서 주목할 만합니다. 1.42TB에 달하는 원본 모델을 982GB 컨테이너로 변환하여 사용하며, 29.05GB의 최소 RAM과 1TB NVMe SSD가 필요합니다.
이러한 성과는 클라우드 서비스에 의존하지 않고 최첨단 AI 모델을 온디바이스(on-device)에서 실행할 수 있는 가능성을 열었습니다. 이는 데이터 프라이버시(privacy)와 보안(security) 측면에서 중요한 이점을 제공하며, 네트워크 연결 없이도 대규모 AI 기능을 활용할 수 있게 합니다. 비록 현재 속도는 느리지만, 개발팀은 디스크 I/O 최적화와 캐싱(caching) 개선을 통해 성능 향상이 가능할 것으로 보고 있습니다. WASTE는 Kimi K3뿐만 아니라 48B(480억) 파라미터 모델 등 다른 대규모 모델에도 적용될 수 있어, 향후 다양한 온디바이스 AI 애플리케이션 개발에 기여할 것으로 기대됩니다.