애플 실리콘(Apple Silicon) 기반 맥 사용자들에게 희소식이 전해졌습니다. 구글의 260억 개 매개변수 대규모 언어모델(LLM)인 젬마 4 26B(Gemma 4 26B)를 단 2GB의 램(RAM)만으로 구동할 수 있는 오픈소스 추론 엔진 '터보필드페어(TurboFieldfare)'가 등장했습니다. 이는 8GB 램을 가진 맥북 에어(MacBook Air)와 같은 기기에서도 고성능 LLM을 직접 실행할 수 있게 해, 온디바이스(on-device) AI의 가능성을 크게 확장하고 있습니다.
터보필드페어는 스위프트(Swift)와 메탈(Metal) 프레임워크를 활용해 개발되었으며, 모델의 전체 14.3GB 가중치를 메모리에 한 번에 로드하지 않는 독특한 방식을 사용합니다. 대신, 1.35GB의 핵심 코어와 FP16 KV 캐시(Key-Value Cache)만 메모리에 유지하고, 각 토큰(token) 생성에 필요한 '전문가(experts)' 가중치 부분만 SSD에서 실시간으로 스트리밍합니다. 이 혁신적인 접근 방식 덕분에, 운영체제와 다른 애플리케이션이 사용하는 메모리를 고려하더라도 8GB 램 맥에서 젬마 26B를 원활하게 실행할 수 있습니다. 개발자는 이 엔진이 MLX나 llama.cpp와 같은 범용 추론 도구의 래퍼(wrapper)가 아닌, 젬마 4 26B-A4B-IT 모델에 특화된 맞춤형 런타임임을 강조했습니다.
이 기술은 메모리 용량에 제약이 있는 기기에서도 대규모 언어모델을 활용할 수 있게 함으로써, AI 애플리케이션 개발에 새로운 지평을 열 것으로 기대됩니다. 사용자는 인터넷 연결 없이도 강력한 AI 모델을 로컬에서 실행할 수 있어, 데이터 프라이버시(privacy)를 강화하고 클라우드(cloud) 비용을 절감할 수 있습니다. 특히 M2 맥북 에어(8GB 램)에서 초당 5.1~6.3 토큰, M5 프로(24GB 램)에서는 초당 31~35 토큰의 디코딩(decoding) 속도를 보여주며, 온디바이스 AI의 실용성을 입증했습니다. 터보필드페어는 네이티브 맥 앱, 명령줄 인터페이스(CLI), 그리고 실험적인 OpenAI 호환 서버를 제공하여 다양한 방식으로 활용될 수 있습니다.
이러한 온디바이스 LLM 실행 기술은 개인 사용자뿐만 아니라, 특정 산업 분야의 기업들에게도 큰 의미를 가집니다. 예를 들어, 보안이 중요한 금융, 의료 분야에서는 민감한 데이터를 외부 서버로 전송하지 않고도 AI 모델을 활용할 수 있게 됩니다. 또한, 인터넷 연결이 불안정한 환경이나 에지 컴퓨팅(edge computing)이 필요한 상황에서도 AI 기능을 안정적으로 제공할 수 있게 됩니다. 터보필드페어는 텍스트 전용 모델을 지원하며, 사용자 메시지, 모델 메시지 및 시스템 가이드를 처리하고, 루프백(loopback) 서버를 통해 함수 호출(tool calls)도 지원합니다.