느린 개인용 컴퓨터에서도 744B(7,440억) 파라미터 규모의 대규모 언어모델(LLM)을 구동할 수 있는 혁신적인 엔진 'Colibrì'가 등장했습니다. 이 순수 C 언어 기반 엔진은 GLM-5.2 Mixture-of-Experts(MoE) 모델을 일반 소비자용 PC의 약 25GB RAM과 370GB 디스크 공간만으로 실행하며, GPU 의존성 없이 CPU만으로 동작하는 것이 특징입니다. 이는 고성능 하드웨어 없이도 거대 AI 모델을 활용할 수 있는 새로운 가능성을 제시합니다.
Colibrì는 GLM-5.2 모델의 핵심 구조를 활용해 효율성을 극대화했습니다. 약 17B(170억) 파라미터의 밀집(dense) 부분은 int4 양자화(quantization)를 통해 약 9.9GB RAM에 상주시키고, 나머지 21,504개의 라우팅된 전문가(expert)들은 약 370GB의 디스크에 저장하여 필요할 때만 스트리밍 방식으로 읽어들입니다. 이 방식은 토큰당 약 40B 파라미터만 활성화되는 MoE 모델의 특성을 영리하게 이용한 것으로, DeepSeek-V3 스타일 라우터와 압축 KV-캐시(KV-cache), MTP(Multi-Token Prediction) 추측 디코딩(speculative decoding) 등 다양한 최적화 기술이 적용되었습니다. WSL2 환경에서 약 30초의 로드 시간과 20GB의 피크 RAM 사용량을 보이며, 콜드 디코드(cold decode) 시 토큰당 0.05~0.1 토큰/초의 속도를 기록했습니다.
Colibrì의 등장은 AI 모델의 접근성을 획기적으로 개선하여 AI 활용의 민주화를 앞당길 잠재력을 가집니다. 고가의 GPU나 클라우드 서비스 없이도 대규모 모델을 로컬에서 실행할 수 있게 됨으로써, 개발자나 연구자뿐만 아니라 일반 사용자들도 AI를 직접 실험하고 활용할 수 있는 기회가 확대될 것입니다. 이는 개인화된 AI 애플리케이션 개발, 오프라인 환경에서의 AI 서비스 제공, 그리고 AI 교육 및 연구 분야에 새로운 활력을 불어넣을 것으로 기대됩니다. 다만, 아직은 디스크 I/O 속도에 따라 성능 편차가 크고, 빠른 NVMe SSD와 충분한 RAM이 요구되는 점은 한계로 지적됩니다.