최근 오픈소스 프로젝트 터보필드페어(TurboFieldfare)가 애플 M 시리즈 맥(Mac)에서 구글의 대규모 언어모델(LLM)인 젬마 4 26B(Gemma 4 26B)를 단 2GB의 램(RAM)만으로 실행하는 혁신적인 기술을 선보였습니다. 이는 전체 14.3GB에 달하는 모델을 메모리에 한꺼번에 올리지 않고, 필요한 부분만 SSD에서 실시간으로 스트리밍하는 방식으로, 8GB 램을 탑재한 맥북 에어(MacBook Air)에서도 고성능 LLM의 로컬 추론(inference)을 가능하게 합니다.
터보필드페어의 핵심은 전문가 혼합(MoE: Mixture-of-Experts) 구조를 활용한 효율적인 메모리 관리입니다. 1.35GB의 공유 코어와 FP16 KV 캐시(Key-Value Cache)만 메모리에 상주시키고, 각 토큰(token) 생성에 필요한 MoE 전문가 가중치(expert weights)는 SSD에서 스트리밍합니다. 이를 위해 16슬롯 LFU 캐시(Least Frequently Used Cache)와 병렬 pread를 사용해 입출력 지연을 최소화했습니다. 이 독자적인 런타임은 스위프트 6.2(Swift 6.2)와 메탈 4(Metal 4)로 구현되었으며, 네이티브 맥 앱, CLI(명령줄 인터페이스), 그리고 실험적인 오픈AI(OpenAI) 호환 서버를 제공합니다. 8GB M2 맥북 에어에서는 초당 5.1~6.3 토큰, 24GB M5 프로(Pro)에서는 초당 31~35 토큰의 디코딩(decoding) 속도를 기록했습니다.
이 기술은 제한된 메모리 환경에서도 대규모 AI 모델을 효율적으로 구동할 수 있음을 보여주며, 개인 사용자나 소규모 개발팀이 고성능 LLM을 로컬에서 활용할 수 있는 문을 열었습니다. 기존에는 고사양 GPU와 많은 램이 필수적이었던 LLM 추론 환경의 장벽을 낮춰, 온디바이스(on-device) AI의 확산을 가속화할 잠재력을 가집니다. 특히, 클라우드 기반 서비스에 의존하지 않고도 개인 정보 보호와 비용 절감 측면에서 이점을 제공하며, 다양한 애플리케이션 개발에 새로운 기회를 제공할 것으로 기대됩니다.