구글이 자사의 경량 오픈 대규모 언어모델(LLM)인 제마 4(Gemma 4)의 양자화 인식 학습(QAT) 체크포인트를 새롭게 공개했습니다. 이는 제마 4를 모바일 기기나 일반 소비자용 그래픽처리장치(GPU) 등 에지(Edge) 환경에서 더욱 효율적으로 구동하기 위한 최적화 작업의 일환입니다. QAT는 모델 학습 과정에서 양자화(quantization)를 시뮬레이션하여, 모델을 압축할 때 발생하는 성능 저하를 최소화하면서도 파일 크기를 크게 줄이는 기술입니다.
이번에 공개된 체크포인트는 인기 있는 Q4_0 형식과 모바일 환경에 특화된 새로운 양자화 형식을 모두 지원합니다. 특히 모바일 특화 스키마는 제마 4 E2B 텍스트 전용 모델의 메모리 사용량을 1GB 미만으로 대폭 낮춰, 스마트폰 등 저사양 기기에서도 LLM을 직접 실행할 수 있는 가능성을 열었습니다. 이 모바일 최적화는 정적 활성화(static activation), 채널별 양자화(per-channel quantization), 선택적 2비트 양자화(selective 2-bit quantization), 임베딩(embedding) 및 KV 캐시 최적화(KV cache optimization) 등 다양한 기술을 통해 모바일 칩의 작업량과 활성 메모리 사용량을 줄입니다. 구글은 허깅 페이스(Hugging Face)를 통해 Q4_0 및 모바일 모델 가중치를 제공하며, llama.cpp, Ollama, LM Studio, LiteRT-LM 등 다양한 도구에서 로컬 실행, 온디바이스 배포, 미세조정(fine-tuning)을 지원합니다.
이번 제마 4 QAT 모델의 출시는 인공지능(AI) 모델의 온디바이스(On-device) 실행 시대를 가속화하는 중요한 진전입니다. 모델이 기기 자체에서 구동되면 클라우드 서버와의 통신 없이 더 빠르고 개인화된 AI 경험을 제공할 수 있으며, 데이터 프라이버시 보호에도 유리합니다. 특히 1GB 미만의 메모리로 LLM을 구동할 수 있게 되면서, 스마트폰, 노트북 등 일상적인 기기에서 실시간 대화, 이미지 및 오디오 인식 등 더욱 다양한 AI 기능을 활용할 수 있게 될 것입니다. 이는 개발자들이 저사양 하드웨어에서도 고품질 AI 애플리케이션을 구축할 수 있는 기반을 마련하며, AI 기술의 대중화와 접근성을 크게 향상시킬 것으로 기대됩니다.