대규모 언어모델(LLM)을 운영할 때 발생하는 높은 초기 응답 시간(Prefill Latency)은 서비스 비용과 사용자 경험에 큰 영향을 미칩니다. 이는 각 요청마다 키-값(KV) 텐서를 재계산해야 하기 때문인데, 최근 발표된 'KVBoost'라는 새로운 시스템이 이 문제를 해결하며 LLM 추론(inference) 효율을 획기적으로 개선했습니다.
KVBoost는 허깅페이스(HuggingFace) 호환 디코더 모델을 위한 청크(chunk) 단위 KV 캐시 재활용 시스템입니다. 기존의 접두사(prefix) 캐싱 방식은 공유 콘텐츠가 프롬프트의 맨 앞에 연속적으로 나타나야만 효과적이었지만, KVBoost는 콘텐츠의 위치에 상관없이 재활용을 가능하게 합니다. 이를 위해 위치 정보(접두사 해시)와 콘텐츠 정보(콘텐츠 해시)를 분리하는 듀얼-해시(dual-hash) 키잉 방식을 도입했으며, 캐시된 청크 간의 주의(attention) 경계 오류를 해결하기 위해 선택적 재계산(SelectiveRecompute) 및 편차 기반 재계산(CacheBlendRecompute) 전략을 사용합니다. 또한, 비대칭 KV 양자화(asymmetric KV quantization)와 적응형 청크 경계 분할, 중요도 가중치 기반 캐시 제거(eviction) 등의 기술을 통합하여 고정된 메모리 예산 내에서 효율성을 극대화합니다. 실제 Qwen/Qwen2.5-3B 모델을 대상으로 한 1,000개 버그 탐지 샘플 평가에서, KVBoost는 첫 토큰 생성 시간(time-to-first-token)을 4.49배(639.1ms에서 142.4ms로) 단축했으며, 기존 접두사 캐싱보다 16% 더 나은 성능을 보이면서도 정확도 손실은 거의 없었습니다(99.2% 대 99.1%).
KVBoost의 등장은 로터리 포지션 임베딩(RoPE) 기반 모델에 아키텍처 변경 없이 적용 가능한 실용적인 추론 가속화 계층을 제공한다는 점에서 의미가 큽니다. 이는 LLM 서비스 제공자들이 더 적은 비용으로 더 빠른 응답 속도를 제공할 수 있게 하여, 사용자 경험을 개선하고 LLM 기반 애플리케이션의 확산을 가속화할 잠재력을 가집니다. 특히, 초기 응답 시간이 중요한 실시간 대화형 AI나 코드 생성 등 다양한 분야에서 LLM의 활용성을 높이는 데 기여할 것으로 보입니다.