대규모 언어모델(LLM) 추론에서 GPU 자원을 효율적으로 활용하기 위해 '분산형 추론(Disaggregated Inference)' 방식이 주목받고 있습니다. 이는 사전 채우기(prefill)와 디코딩(decode) 작업을 별도의 GPU 풀에서 처리하는 방식인데, 이때 핵심적인 병목 현상이 발생합니다. 바로 KV 캐시(Key-Value cache)를 두 GPU 풀 간에 전송하는 과정에서 막대한 데이터 이동이 필요하다는 점입니다. 70B 모델의 경우 요청당 2.6GB의 KV 캐시가 발생하며, 이는 프로덕션 규모에서 초당 100GB를 넘는 총 전송량을 요구합니다.
기존의 분산형 추론 시스템인 DistServe, Splitwise, Mooncake 등은 원격 직접 메모리 접근(RDMA)을 사용하지만, GPU 간 물리적 연결 토폴로지를 고려하지 않는 균일한(uniform) 전송 방식을 채택하고 있습니다. 하지만 GPU 간 대역폭은 물리적 관계에 따라 최대 72배까지 차이가 납니다. 예를 들어, 동일 도메인 내 NVLink는 900GB/s를 제공하는 반면, 노드 간 인피니밴드(InfiniBand)는 50GB/s, 데이터센터 간 TCP는 12.5GB/s에 불과합니다. 이러한 대역폭 차이를 무시하면 KV 캐시 전송이 전체 추론 성능의 심각한 병목이 될 수 있습니다. 이에 새로운 연구는 시작 시점에 상호 연결 계층 구조를 파악하고 최적의 전송 방식을 선택하는 '토폴로지 인식 전송 오케스트레이터'를 제안합니다.
이 오케스트레이터는 세 가지 핵심 메커니즘을 통해 작동합니다. 첫째, 파이프라인 방식의 계층별 전송(pipelined layer-by-layer transfer)으로 전송과 연산을 중첩하여 지연 시간의 60~85%를 숨깁니다. 둘째, 전문가 혼합(Mixture-of-Experts) 모델을 위해 NVLink 도메인 인지 배치(NVLink domain-aware placement)를 통해 전문가 디스패치와 KV 캐시 지역성을 동시에 최적화합니다. 셋째, CXL 3.0 메모리 확장기(memory expanders)를 공유 오버플로우 계층으로 활용하여 NVMe보다 86배 낮은 지연 시간으로 6배 더 많은 용량을 제공합니다. 이러한 접근 방식은 균일한 RDMA 대비 전송 지연 시간을 3배에서 최대 18배까지 줄일 수 있을 것으로 분석됩니다. 이 기술은 LLM 추론 서비스의 효율성과 확장성을 크게 향상시켜, 더 많은 사용자가 고성능 AI 서비스를 저렴하게 이용할 수 있도록 기여할 것입니다.