최근 'Warp'라는 새로운 오픈소스 엔진이 등장하여, 8GB 램을 탑재한 맥북에서도 313B(3,130억) 파라미터 규모의 대규모 언어모델(LLM)인 GLM-5.3-Flash를 구동할 수 있게 되었습니다. 이는 일반적으로 수십 기가바이트(GB) 이상의 고성능 메모리를 요구하는 거대 AI 모델을 개인용 기기에서 실행할 수 있다는 점에서 주목할 만합니다. 개발자는 몇 달 전 Kimi K3라는 2.78조 파라미터 모델을 macOS에서 실행하기 위해 이 엔진을 개발했으며, 아키텍처 유사성 덕분에 GLM-5.3-Flash 지원도 추가했습니다.
Warp 엔진은 GLM-5.3-Flash 모델을 구동하는 데 최소 5.14GB의 램(RAM)만을 필요로 합니다. 예를 들어, 64GB 램을 탑재한 맥북 프로 M5 Pro에서는 초당 약 3.32토큰(tok/s)의 속도를 보였고, 더 긴 실행에서는 3.86토큰/초까지 성능이 향상되었습니다. 더 많은 메모리는 더 큰 전문가 캐시(expert cache)를 허용하여 성능을 높일 수 있으며, 저장 장치 및 메모리 대역폭 또한 전반적인 성능 개선에 기여합니다. 이 프로젝트는 완전히 오픈소스(open-source)로 제공되어 누구나 자유롭게 사용하고 기여할 수 있습니다.
이러한 기술 발전은 제한된 하드웨어 자원을 가진 개인 개발자나 스타트업에게 고성능 AI 모델 접근성을 크게 높여준다는 점에서 중요한 의미를 가집니다. 클라우드 기반 AI 서비스에 대한 의존도를 줄이고, 로컬 환경에서 민감한 데이터를 처리하거나 오프라인 환경에서도 AI 모델을 활용할 수 있는 가능성을 열어줍니다. 결과적으로 AI 기술의 민주화를 가속화하고, 더 많은 혁신적인 애플리케이션 개발을 촉진할 것으로 기대됩니다.