대규모 언어모델(LLM)의 성능을 좌우하는 핵심 요소 중 하나인 KV 캐시(KV cache)의 메모리 효율성을 혁신적으로 개선하는 'LowRAM' 기술이 발표되었습니다. 이 기술은 LLM 추론 과정에서 컨텍스트 길이(context length)가 길어질수록 선형적으로 증가하는 KV 캐시의 메모리 점유 문제를 해결하여, 배치 크기(batch size)와 처리량(throughput) 제한을 완화합니다. 기존 압축 방식들이 토큰, 레이어, 피처 차원(feature dimension) 또는 수치 정밀도(numerical precision)를 활용했다면, LowRAM은 어텐션 헤드(attention head) 내에서 값(Value)이 해당 키(Key)로부터 예측 가능하다는 새로운 관점을 제시합니다.
LowRAM은 크게 두 가지 핵심 기술로 구성됩니다. 첫째, '값 캐시 상각(value cache amortisation)'은 각 어텐션 헤드마다 경량 예측기(lightweight predictor)를 학습시켜 값(Value)을 압축합니다. 이 예측기는 값의 대부분을 예측하고, 예측하기 어려운 잔차(residual)만 저장하여 최대 4배의 값 압축률을 달성합니다. 둘째, 이 기술은 '교차 레이어 저랭크 키 압축(cross-layer low-rank key compression)'과 결합되어 'LowRAM'이라는 비대칭 압축 파이프라인을 형성합니다. 이를 통해 LowRAM은 세 가지 모델 패밀리에서 거의 손실 없는(near-lossless) 성능을 유지하며, 디코딩 오버헤드(decoding overhead)를 최소화하면서 최대 4배 압축 시 5배 높은 피크 디코딩 처리량(peak decode throughput)을 제공합니다.
LowRAM의 가장 큰 강점은 기존 양자화(quantisation) 및 제거(eviction) 기법과도 결합될 수 있다는 점입니다. 이를 통해 긴 컨텍스트에서 최대 26.9배의 압축률을 달성하면서도 기준 성능의 94.5%를 유지하는 놀라운 결과를 보여주었습니다. 이는 키와 값을 구조적으로 다르게 처리하는 접근 방식이 효율적이고 공격적이며 조합 가능한 KV 캐시 압축의 가능성을 열었음을 의미합니다. 결과적으로 LowRAM은 LLM 운영 비용을 크게 절감하고, 더 긴 컨텍스트를 효율적으로 처리하며, 더 많은 사용자가 동시에 LLM을 활용할 수 있도록 하여 LLM 서비스의 대중화와 발전에 중요한 역할을 할 것입니다.