최근 발표된 DAMP(Decay-Aware Mixed-Precision)라는 새로운 양자화(quantization) 기술이 대규모 언어모델(LLM)의 추론(inference) 효율성을 혁신적으로 개선할 것으로 주목받고 있습니다. 이 기술은 LLM의 핵심 병목 중 하나인 메모리 사용량과 추론 지연 시간을 줄이는 데 초점을 맞추며, 특히 Gated DeltaNet(GDN)이나 Kimi Delta Attention(KDA)과 같이 순환 상태(recurrent state)를 활용하는 모델에 최적화되어 있습니다.
기존 소프트맥스 어텐션(softmax attention) 방식은 이전 토큰(token)의 키(key)와 값(value) 벡터를 모두 저장하는 KV 캐시(KV cache)를 사용해 시퀀스 길이(sequence length)에 따라 메모리 사용량이 선형적으로 증가하는 문제가 있었습니다. 이를 해결하기 위해 GDN이나 KDA 기반 LLM은 대부분의 레이어에서 KV 캐시를 고정 크기 순환 상태로 대체하여 메모리 비용을 줄였습니다. 하지만 이 순환 상태들이 여전히 FP32(단정밀도 부동소수점)로 저장되어 상당한 GPU 메모리를 차지하고, 업데이트 과정이 메모리 대역폭(memory-bandwidth)에 의해 제한되어 디코딩(decoding) 지연 시간의 주요 원인이 되었습니다. 연구진은 이러한 순환 상태에 대한 훈련 후 양자화(post-training quantization) 연구가 전무하다는 점에 착안, DAMP를 개발했습니다. 기존의 균일 양자화(uniform quantization) 방식은 INT8이나 FP8에서도 복잡한 추론 작업에서 정확도 저하를 보였고, INT4나 NVFP4에서는 정확도가 거의 0에 가까워지는 한계가 있었습니다.
DAMP는 이러한 문제를 해결하기 위해 양자화 오류 에너지(quantization-error energy)와 상태 채널(state channel)의 상대적 감쇠 강도(decay strength)를 모두 고려한 혼합 정밀도(mixed-precision) 방식을 사용합니다. 오프라인 캘리브레이션(offline calibration) 과정에서 양자화 오류에 취약하고 감쇠가 느린 '고위험 채널'을 식별하여 이들은 더 높은 정밀도로 저장하고, 나머지 채널은 INT8로 저장합니다. Qwen3.6-35B와 Kimi-Linear-48B 모델에 DAMP를 적용한 결과, 평균 9.9비트(bits)의 정밀도로 FP32 기준과 거의 동일한 정확도를 유지했습니다. 동시에 순환 상태 저장 공간을 69.1% 절감하고, 순환 상태 업데이트 커널(kernel) 속도를 최대 2.01배 가속했으며, 전체 모델의 TPOT(Tokens Per Second Per GPU)를 최대 10.9% 향상시키는 놀라운 성과를 보였습니다. 이는 LLM 운영 비용을 크게 절감하고, 더 빠르고 효율적인 AI 서비스를 가능하게 할 중요한 진전으로 평가됩니다.