최근 arXiv에 게재된 논문에서 머신러닝 애플리케이션을 위한 새로운 양자화 기법인 '대수적 정수 양자화(Algebraic Integer Quantization, AIQ)'가 소개되었습니다. 이 기술은 대수적 정수 수 형식(Algebraic Integer Number Formats, AINF)을 기반으로 하며, 고도로 구성 가능하고 정확한 압축 연산을 가능하게 합니다. 특히, AIQ는 순수 정수 연산으로의 직접적인 환원이 가능하여, AI 모델의 핵심 연산인 곱셈-누산(multiply-accumulate) 과정에서 오류를 없앨 수 있다는 점이 큰 특징입니다.
연구팀은 이러한 AIQ의 특성을 활용한 행렬 곱셈 엔진을 개발했습니다. 이 엔진은 현대 하드웨어 가속기에서 가장 효율적인 수치 연산 방식과 비교했을 때 예측 가능한 수준의 성능을 달성했습니다. AIQ의 또 다른 중요한 장점은 특정 사용 사례의 수치적 특성에 맞춰 대수적 정수를 자유롭게 선택할 수 있다는 것입니다. 이는 부동 소수점(floating-point)이나 고정 소수점(fixed-point) 형식에서는 불가능했던 최적화 기회를 제공합니다. 연구진은 대규모 언어 모델(LLM) 추론(inference)을 위한 손실 압축 형식으로 AIQ를 도입했으며, 다양한 모델과 벤치마크에서 업계 표준인 MX 형식과 동등한 비트당 매개변수 예산에서 경쟁력 있는 정확도를 달성했음을 입증했습니다. 현재는 2차 대수적 정수(quadratic integers)를 활용한 실험 결과가 제시되었으며, 고차원 대수적 정수로의 확장은 더 큰 연산 이점을 가져올 것으로 기대됩니다.
이러한 대수적 정수 양자화(AIQ)는 대규모 AI 모델, 특히 LLM의 효율적인 배포와 운영에 중요한 영향을 미칠 잠재력을 가지고 있습니다. 모델의 크기를 줄이고 연산 속도를 높이면서도 정확도를 유지하는 것은 제한된 하드웨어 자원에서도 고성능 AI 서비스를 제공하는 데 필수적입니다. AIQ는 기존 양자화 방식의 한계를 극복하고, AI 모델의 경량화 및 최적화에 새로운 방향을 제시함으로써, AI 기술의 상용화와 접근성을 더욱 넓히는 데 기여할 것으로 보입니다.