최근 발표된 연구 논문에서 엔트로피 제약 적응형 확률적 양자화(ECASQ: Entropy-Constrained Adaptive Stochastic Quantization)라는 새로운 양자화(quantization) 접근 방식이 소개되었습니다. 이 기술은 AI 모델의 통신 및 메모리 병목 현상을 해결하기 위해 개발되었으며, 특히 모델, 기울기(gradient), KV-캐시 압축 및 최근접 이웃 탐색(nearest-neighbor search)과 같은 현대 머신러닝 작업의 효율성을 크게 향상시킬 것으로 기대됩니다.
기존의 적응형 확률적 양자화(ASQ: Adaptive Stochastic Quantization)는 평균 제곱 오차(MSE: Mean Squared Error)를 최적화하면서도 편향되지 않은(unbiased) 특성을 유지하는 장점이 있었습니다. 그러나 ASQ를 포함한 기존 방식들은 양자화된 데이터를 손실 없는 엔트로피 인코더로 압축하는 후속 단계를 충분히 고려하지 않아, 잠재적인 정확도 손실이 발생할 수 있었습니다. ECASQ는 이러한 한계를 극복하기 위해 엔트로피 예산(entropy budget)과 비편향성 제약(unbiasedness constraint) 하에서 MSE를 최소화하도록 적응형 양자화 값을 공동으로 선택하는 문제를 새롭게 정의했습니다. 연구진은 이 문제를 해결하기 위한 최적의 동적 프로그래밍(dynamic program) 알고리즘과 GPU 친화적인 근사 동적 프로그래밍(approximate dynamic program) 알고리즘을 제안했습니다.
이러한 ECASQ 기술은 AI 모델의 경량화 및 효율성 개선에 중요한 의미를 가집니다. 특히 대규모 언어모델(LLM)과 같이 막대한 연산 및 메모리 자원을 요구하는 모델의 경우, 양자화는 필수적인 최적화 기법입니다. ECASQ는 양자화 과정에서 최종 압축 단계까지 고려함으로써, 동일한 압축률에서 더 높은 정확도를 유지하거나, 동일한 정확도에서 더 높은 압축률을 달성할 수 있게 합니다. 이는 AI 서비스의 배포 비용을 절감하고, 모바일 및 엣지 디바이스와 같은 제한된 환경에서도 고성능 AI 모델을 운영할 수 있는 가능성을 열어줄 것입니다.