사모사 챗(Samosa Chat) 프로젝트가 16GB 램을 가진 애플 실리콘 맥(Apple Silicon Mac)에서 350억 개 매개변수(파라미터) 규모의 대규모 언어모델(LLM)인 Qwen3.6-35B-A3B를 로컬로 구동하는 기술을 선보였습니다. 이는 클라우드 연결이나 외부 계정 없이, 사용자 기기에서 직접 고성능 AI 모델을 실행할 수 있게 함으로써 개인 정보 보호와 접근성을 크게 향상시킬 수 있는 중요한 진전입니다.
사모사 챗은 JustVugg의 colibrì 프로젝트를 기반으로 개발되었으며, 특히 '전문가 스트리밍(expert-streaming)'이라는 독특한 설계를 채택했습니다. Qwen3.6-35B-A3B 모델은 '혼합 전문가(Mixture of Experts, MoE)' 구조를 가지고 있어 전체 350억 개 파라미터 중 하나의 토큰을 처리할 때 약 30억 개만 사용합니다. 사모사 챗은 이 점을 활용해 모델의 모든 파라미터를 한 번에 램에 로드하지 않고, 공유 가중치(dense weights)만 램에 유지하고 전문가 가중치(expert weights)는 모델이 필요로 하는 전문가를 선택할 때 SSD에서 읽어오는 방식을 사용합니다. 이를 통해 16GB 램 제약 속에서도 350억 개 모델을 효율적으로 운영하며, 초당 5~9토큰의 생성 속도를 보여줍니다. 설치는 간단한 터미널 명령어로 가능하며, 약 24GB의 모델 파일을 다운로드하고 C 엔진을 컴파일하는 과정을 거쳐 로컬에서 바로 사용할 수 있습니다.
이러한 로컬 LLM 구동 기술은 여러 면에서 중요한 의미를 가집니다. 첫째, 클라우드 서비스에 대한 의존도를 줄여 사용자 데이터의 개인 정보 보호를 강화하고, 인터넷 연결 없이도 AI를 활용할 수 있게 합니다. 둘째, 클라우드 API 사용에 따른 비용 부담을 없애 개인 개발자나 소규모 팀이 고성능 AI를 자유롭게 실험하고 활용할 수 있는 기회를 제공합니다. 셋째, 저사양 기기에서도 대규모 모델을 효율적으로 운영하는 기술적 가능성을 보여주며, 향후 더 다양한 기기에서 AI가 보편화될 수 있는 길을 열었습니다. 이는 AI 기술의 민주화에 기여하며, 새로운 형태의 온디바이스 AI 애플리케이션 개발을 촉진할 것으로 기대됩니다.