최근 한 개발자가 애플 M1 프로 칩과 16GB 램을 탑재한 맥북 프로에서 350억 개 이상의 매개변수(parameter)를 가진 대규모 언어모델(LLM)인 Qwen3.6-35B-A3B를 성공적으로 구동했습니다. 이는 모델 전체를 램(RAM)에 올리지 않고 SSD에서 필요한 부분을 스트리밍하는 독창적인 방식을 활용한 것으로, 제한된 하드웨어 자원에서도 대형 AI 모델을 실행할 수 있는 새로운 가능성을 제시합니다.
이 프로젝트는 `DwarfStar`라는 소형 추론(inference) 엔진의 포크(fork) 버전인 `andreaborio/ds4`를 기반으로 합니다. `DwarfStar`는 원래 메모리에 다 들어가지 않는 모델을 위한 특수 추론 엔진으로, 이 포크는 특히 16GB에서 64GB 램을 가진 애플 실리콘(Apple Silicon) 시스템에 최적화되어 있습니다. 핵심 기술은 적응형 메탈(Metal) 상주 및 라우팅된 전문가 캐시(routed-expert cache) 정책, 그리고 페이지 캐시(page cache), 유선 메모리(wired memory), 스왑(swap), I/O 등을 종합적으로 고려한 SSD 스트리밍입니다. 이를 통해 Qwen3.6-35B-A3B와 같은 Mixture-of-Experts(MoE) 모델의 일부 전문가(expert) 가중치만 필요할 때 SSD에서 불러와 메모리에 로드함으로써, 전체 모델을 램에 올릴 수 없는 환경에서도 추론이 가능하게 합니다.
이번 성과는 온디바이스 AI(On-device AI) 분야에 중요한 의미를 가집니다. 고성능 서버나 클라우드 없이도 개인용 기기에서 대규모 AI 모델을 직접 실행할 수 있게 되면, 사용자들은 데이터 프라이버시를 강화하고, 인터넷 연결 없이도 AI 기능을 활용하며, 클라우드 비용을 절감할 수 있습니다. 이는 개발자들이 더 많은 AI 애플리케이션을 개인 기기 환경에 맞춰 개발할 수 있는 기반을 마련하며, 특히 엣지 디바이스(edge device)에서의 AI 활용 가능성을 크게 확장할 것으로 기대됩니다.