대규모 언어모델(LLM)을 더 빠르고 효율적으로 구동하기 위한 핵심 기술 중 하나는 양자화(quantization)입니다. 양자화는 모델의 가중치(weights)를 더 적은 비트(bit)의 정수(integer)로 표현하여 메모리 사용량과 연산 속도를 개선하는 방법입니다. 최근 arXiv에 발표된 논문은 기존 양자화 방식의 한계를 지적하며, '부호 대칭 양자화(Signed Symmetric Quantization)'라는 새로운 접근법을 제시했습니다.
기존 양자화 방식은 크게 대칭(symmetric)과 비대칭(asymmetric)으로 나뉩니다. 표준 대칭 양자화는 스케일(scale)을 양수로 고정하여 음수 값 표현에 여유가 생기고 양수 값에서 클리핑(clipping)이 발생할 수 있습니다. 이는 특히 4비트와 같이 적은 비트 정밀도(few-bit precision)에서는 무시할 수 없는 양자화 오류의 원인이 됩니다. 반면 비대칭 양자화는 제로 포인트(zero point)를 도입해 데이터 범위에 맞춰 그리드를 조정함으로써 이 문제를 해결하지만, AMD EPYC "Turin" CPU 테스트 결과 4비트 환경에서 대칭 방식보다 메모리를 9% 더 사용하고 처리량(throughput)은 최대 2.45배 느려지는 등 런타임(runtime) 성능 저하가 발생합니다.
새롭게 제안된 부호 대칭 양자화는 이러한 두 방식의 장점을 결합합니다. 이 방법은 대칭 양자화의 런타임 이점을 유지하면서도, 부호화된 절댓값 최대(signed absmax) 그리드를 통해 양수 또는 음수 중 더 큰 이상치(outlier) 꼬리 부분에 추가적인 표현 값을 할당합니다. 이는 원칙적이고 가벼운 부호 선택 규칙을 통해 이루어지며, 제로 포인트는 0으로 유지됩니다. 연구팀은 이론적 분석을 통해 이 방식이 $\ell_2$ 양자화 오류 측면에서 조건부 최적(conditionally bound-optimal)임을 입증했으며, 사전 학습된 LLM의 가중치 그룹 중 88~99%에서 이 조건이 충족됨을 확인했습니다. 또한, 표준 대칭 양자화의 스케일을 음수로 바꾸는 것이 동일한 부호 정수 알파벳에서 단위 제로 포인트 이동과 분석적으로 동일하다는 점도 밝혀냈습니다.
이 연구 결과는 Qwen3, Qwen3.5, Llama3 계열 모델에 적용하여 검증되었습니다. 실험 결과, 부호 대칭 양자화는 추가적인 추론 비용 없이 기존 표준 대칭 양자화 대비 혼란도(perplexity)와 다운스트림 소수샷(few-shot) 정확도에서 개선을 보였습니다. 이는 LLM의 경량화 및 효율성 향상에 중요한 기여를 할 수 있음을 시사합니다. 특히, 적은 비트 환경에서 정확도 손실을 최소화하면서도 빠른 추론 속도를 유지할 수 있어, 제한된 자원을 가진 엣지 디바이스나 모바일 환경에서 LLM을 구동하는 데 큰 도움이 될 것으로 기대됩니다.