넷플릭스가 대규모 언어모델(LLM)을 기존 머신러닝(ML) 인프라에 통합하여 운영하고 있으며, 이 과정에서 vLLM을 핵심 추론 엔진으로 선정했다고 밝혔습니다. 이는 LLM을 별도의 사일로로 분리하지 않고 기존 시스템의 강점을 활용해 효율성과 안정성을 동시에 확보하려는 전략으로 풀이됩니다. 넷플릭스는 vLLM과 엔비디아 트라이튼 추론 서버(NVIDIA Triton Inference Server)를 결합한 서빙 체계를 구축하여, 다양한 LLM 워크로드를 유연하게 처리하고 있습니다.
넷플릭스의 통합 서빙 시스템은 JVM 기반으로 라우팅, A/B 테스트, 추론, 후처리 등 전 과정을 처리하며, 실시간 및 캐시된 배치 경로를 모두 지원합니다. 특히 모델 규모에 따라 실행 위치를 최적화하는데, 작은 CPU 모델은 프로세스 내에서 직접 실행하고, 큰 GPU 모델은 전·후처리를 로컬에서 수행한 뒤 추론을 원격 모델 스코어링 서비스(MSS)에 위임합니다. MSS는 XGBoost, TensorFlow, PyTorch, LLM 등 다양한 모델을 단일 인터페이스로 제공하며, 하부의 트라이튼(Triton)이 모델 로딩, 배치 처리, GPU 스케줄링을 담당합니다. 넷플릭스는 초기에는 텐서RT-LLM(TensorRT-LLM)을 사용했으나, 2025년 여름 오픈소스 엔진의 성능이 특화 스택과의 격차를 좁히면서 vLLM을 기본 경로 엔진으로 채택했습니다. vLLM은 사용자 정의 모델 아키텍처 로딩, 확장 훅 제공, 디버깅 용이성, 그리고 ML 실무자들의 높은 친숙도 덕분에 프로덕션 이관 비용을 절감할 수 있다는 장점이 있습니다.
모델 배포 전략으로는 비용 효율적인 레드-블랙(Red-Black) 방식을 기본으로 사용하며, I/O 스키마 변경이 불가피할 때만 여러 버전을 동시에 유지하는 버전드(Versioned) 전략을 적용합니다. 또한, 토큰 생성에 세밀한 제어가 필요한 워크로드를 위해 디코딩 루프 내에서 제약을 강제하는 로짓 프로세서(logit processor)를 구현했습니다. 이는 vLLM V1의 배치 단위 처리와 멀티스레드 C++ 재구현을 통해 CPU 병목 현상을 해결하여, 배치 크기가 커져도 로짓 처리 시간이 일정하게 유지되도록 개선되었습니다. 넷플릭스의 이러한 접근 방식은 LLM을 실제 서비스에 안정적으로 통합하고 확장하는 데 필요한 실질적인 기술적 난관들을 극복하는 모범 사례를 제시하며, 복잡한 LLM 운영 환경에서 성능과 유연성을 동시에 확보하려는 기업들에게 중요한 시사점을 제공합니다.