대규모 언어모델(LLM) 서비스는 막대한 컴퓨팅 자원을 필요로 하며, 특히 사전 채우기(prefill)와 디코딩(decode) 과정에서 각각 다른 종류의 GPU 자원이 집중적으로 사용됩니다. 이러한 비대칭성을 해결하기 위해 컴퓨팅 집약적인 사전 채우기와 메모리 집약적인 디코딩을 별도의 GPU 풀(pool)에 분리하여 처리하는 분산(disaggregated) LLM 서빙 시스템이 등장했습니다. 하지만 이렇게 분리된 환경에서도 어떤 요청을 어느 인스턴스로 보낼지 결정하는 라우팅(routing)은 여전히 서비스 효율성을 좌우하는 핵심 과제로 남아있습니다.
최근 연구는 이러한 라우팅 문제를 해결하기 위해 각 인스턴스에서 요청 처리 완료까지 걸리는 추가 시간을 정교하게 예측하는 라우터(router)를 제안했습니다. 이 라우터는 프롬프트 길이, 예상 출력 길이, 입수 후 KV 캐시(Key-Value cache) 압력, 서비스 수준 목표(SLO) 등 다양한 요소를 종합적으로 고려하여 예측 정확도를 높입니다. 연구팀은 이 라우터를 8개의 NVIDIA A40 GPU와 vLLM 엔진을 활용한 환경에서 검증했으며, 혼합된 트래픽 환경에서 라운드 로빈(round robin)이나 최소 부하(least loaded) 같은 기존 방식보다 평균 처리량(goodput)을 최대 0.864까지 달성하며 더 높은 효율을 보였습니다. 특히 하드웨어 캘리브레이션(calibration)을 통해 얻은 정확한 비용 예측이 성능 향상에 결정적인 역할을 했습니다.
이러한 정교한 요청 라우팅 기술은 LLM 서비스 제공자들에게 상당한 이점을 제공할 수 있습니다. 더 높은 처리량과 낮은 지연 시간은 동일한 하드웨어 자원으로 더 많은 요청을 처리하거나, 동일한 서비스 품질을 유지하면서 필요한 GPU 수를 줄일 수 있음을 의미합니다. 실제로 이 연구에서는 캘리브레이션된 라우터를 사용했을 때 7개의 GPU로 달성하던 처리량을 6개의 GPU로도 얻을 수 있음을 보여주었습니다. 이는 LLM 서비스 운영 비용을 절감하고, 사용자 경험을 개선하는 데 크게 기여할 수 있습니다. 특히 트래픽의 종류가 다양하고 디코딩 풀의 규모가 클수록 그 효과는 더욱 커질 것으로 예상됩니다.