최근 벤치마크 결과에 따르면, 55GB에 달하는 대규모 언어모델(LLM)인 Qwen3.8 27B를 4비트 양자화(quantization)하면 모델 크기를 17GB로 크게 줄일 수 있으며, 이 과정에서 원본 모델과 거의 동일한 성능을 유지하는 것으로 확인되었습니다. 이는 24GB 메모리를 가진 엔비디아(NVIDIA) RTX 4090 같은 소비자용 GPU에서도 약 64k 토큰의 긴 컨텍스트(context)와 함께 Qwen3.8 27B 모델을 효율적으로 구동할 수 있음을 의미합니다.
이번 벤치마크는 과학 지식 평가(GPQA Diamond), 지시 준수 평가(IFBench), 에이전트 코딩 평가(Terminal-Bench 2.1) 등 다양한 실제 작업 시나리오를 통해 양자화된 모델의 성능을 측정했습니다. 4비트 양자화 모델은 이 모든 평가에서 원본 BF16 모델과 눈에 띄는 성능 차이 없이 우수한 결과를 보였습니다. 하지만 2비트 모델(약 10.7GB)은 지시 준수 성능은 유지했지만 과학 문제와 코딩 작업에서는 성능이 하락했으며, 동일한 코딩 작업을 해결할 때 출력 토큰(token) 사용량도 약 25% 증가했습니다. 특히 1비트 모델은 과학 문제에서 무작위 추측 수준으로 성능이 떨어지는 등 품질 붕괴 현상을 보였습니다.
이러한 결과는 양자화가 단순히 모델 크기를 줄이는 것을 넘어, 실제 작업 해결 능력에 미치는 영향을 종합적으로 고려해야 함을 시사합니다. 특히 로컬 환경에서 LLM을 실행하려는 사용자들에게는 모델 가중치뿐만 아니라 필요한 컨텍스트까지 GPU 메모리에 적재될 수 있는 최적의 양자화 수준을 선택하는 것이 중요합니다. 이번 벤치마크는 양자화가 무조건 피해야 할 대상이 아니라, 실제 작업 품질과 메모리 요구량을 신중하게 확인하며 활용할 수 있는 중요한 선택지임을 보여줍니다.