Kairo(카이로) 프로젝트가 공개되며 대규모 언어모델(LLM) 추론(inference) 성능 최적화에 대한 새로운 접근 방식을 제시했습니다. 이 프로젝트는 RTX 5090 GPU 환경에서 특정 워크로드에 대해 CUDA 그래프(Graph)를 활용하여 NVFP4 서빙 처리량(throughput)을 2배 이상 향상시킬 수 있음을 보여줍니다. 하지만 단순히 CUDA 그래프를 항상 활성화하는 것이 아니라, 실제 측정된 데이터를 기반으로 가장 효율적인 실행 경로를 선택하는 '실패-폐쇄(fail-closed)' 라우팅 정책을 핵심으로 합니다.
Kairo는 '측정된 것만 라우팅한다'는 원칙 아래, 특정 모델, 양자화(quantization), 워크로드, 하드웨어 및 소프트웨어 환경에서 얻은 결과를 엄격하게 검증합니다. 예를 들어, Qwen3.8-27B-NVFP4 모델의 특정 조건(c32, prompt 512, context 1K)에서는 CUDA 그래프 사용 시 645.08 토큰/초로, Eager 모드(308.51 토큰/초) 대비 2.09배 빠른 성능을 보였습니다. 하지만 다른 조건(c16, prompt 2048, context 4K)에서는 1.30배 향상에 그치는 등, 워크로드에 따라 성능 개선 폭이 다르다는 점을 명확히 보여줍니다. Kairo는 이러한 측정 결과를 바탕으로 '정확히 측정된 워크로드 버킷'에 대해서만 최적의 서빙 프로필을 선택하며, 측정된 경로가 없는 요청에 대해서는 수동(manual) 모드로 전환하는 '실패-폐쇄' 방식을 따릅니다.
이러한 접근 방식은 LLM 서비스 운영자들이 무조건적인 최적화 적용 대신, 실제 사용 환경에 맞는 정밀한 성능 관리를 가능하게 합니다. 특히, 다양한 LLM 모델과 워크로드 조건에서 안정적이고 효율적인 추론 서비스를 제공해야 하는 기업들에게 중요한 의미를 가집니다. Kairo는 아직 범용 추론 엔진을 대체하는 수준은 아니지만, 블랙웰(Blackwell) 아키텍처 기반의 네이티브 추론 구성 요소 개발을 위한 연구 기반을 제공하며, LLM 추론 최적화의 미래 방향을 제시하는 중요한 첫걸음으로 평가됩니다.