대규모 언어모델(LLM)이 챗봇, 에이전트 루프, 문서 질의응답 등 긴 대화 세션을 처리할 때, 핵심 병목 중 하나는 키-값(KV) 캐시가 GPU의 고대역폭 메모리(HBM)를 과도하게 소비한다는 점입니다. GPU HBM은 비싸고 용량이 제한적이어서, 많은 시스템들이 이 문제를 해결하기 위해 KV 캐시를 CPU DRAM이나 SSD까지 확장하여 사용하고 있습니다. 하지만 어떤 데이터를 어느 계층에 저장하고, 언제 이동시키거나 삭제할지, 그리고 미리 가져오기(prefetching)가 도움이 되는지에 대한 명확한 답은 없었습니다.
최근 연구는 GPU HBM, CPU DRAM, SSD를 아우르는 이산 이벤트 시뮬레이터를 통해 다양한 KV 캐시 배치 정책의 효과를 분석했습니다. 연구팀은 최근성(recency), 재사용 빈도(reuse frequency), 예측된 재사용(predicted reuse), EWMA(지수 가중 이동 평균) 예측기 등 여러 정책을 챗봇, 에이전트, 문서 질의응답 워크로드에 적용하여 비교했습니다. 흥미롭게도, 캐시 배치 정책 자체보다는 GPU, CPU, SSD의 계층별 용량을 1:8:64 비율로 확장하는 것이 훨씬 더 큰 효과를 보였습니다. 이러한 계층화 전략은 GPU당 동시 세션 수를 73.02배 증가시키고, 세션당 비용을 62.04배 절감하는 결과를 가져왔습니다.
이번 연구는 디코딩(decode) 과정이 배치 크기(batch size) 1에서는 연산(compute) 병목에 걸리기 때문에, 캐시 배치 정책이 전체 처리량(throughput)에 미치는 영향은 미미하다고 지적합니다. 대신 정책은 주로 PCIe 데이터 이동량과 첫 토큰 생성 시간(time to first token)에 영향을 주었습니다. 예를 들어, 챗봇 워크로드에서는 최근성 정책이 재사용 빈도 정책보다 데이터 이동량을 2.30배 줄였지만, 에이전트 및 문서 질의응답에서는 재사용 빈도 정책이 가장 좋은 성능을 보였습니다. 또한, 미리 가져오기(prefetching)는 대역폭 비용을 정당화할 만큼의 이점을 제공하지 못하는 것으로 나타났습니다. 이 연구 결과는 LLM 서비스 제공자들이 KV 캐시 관리에 있어 정책 최적화보다는 메모리 계층 구조의 용량 확장에 우선순위를 두는 것이 더 효과적일 수 있음을 시사합니다.