XanuNetworks가 엔비디아(NVIDIA)의 DGX Spark 클러스터 4개 노드에 가지치기(unpruned)하지 않은 GLM-5.2 대규모 언어모델(LLM)을 성공적으로 자체 호스팅했다고 발표했습니다. 이 배포는 최신 DGX Spark 펌웨어(드라이버 580.159.03) 환경에서 이루어졌으며, 기존 레시피들이 사용하던 스택보다 더 최신 버전의 소프트웨어 스택(cutlass-dsl 4.6.0, FlashInfer 0.6.15, torch 2.11.0)을 활용한 것이 특징입니다.
이 시스템은 단일 사용자 환경에서 최대 655K 토큰의 방대한 컨텍스트(context)를 처리하거나, 여러 사용자가 동시에 모델을 활용할 수 있도록 다양한 '레인(lane)' 구성을 제공합니다. 예를 들어, 'dcp2' 레인은 최대 327K 컨텍스트에서 약 25 토큰/초의 빠른 추론 속도를 제공하며, 'dcp4' 레인은 최대 655K 컨텍스트를 지원합니다. 또한, 'dcp4-cc200'과 'dcp4-cc128' 레인은 각각 3명과 5명의 다중 사용자를 위한 구성으로, 키-값(KV) 캐시 예산이 컨텍스트 깊이 대신 사용자 폭에 할당됩니다. 특히, 이 배포는 모델의 모든 256개 전문가(expert)를 활용하여 가지치기 없는 완전한 모델 성능을 제공합니다.
이번 성과는 최신 하드웨어 및 펌웨어 환경에서 대규모 언어모델을 효율적으로 운영할 수 있는 가능성을 보여줍니다. 특히, 기존 레시피들이 최신 펌웨어와 호환되지 않는 문제를 해결하고, 안정적인 성능을 유지하면서도 긴 컨텍스트와 다중 사용자 지원을 동시에 달성했다는 점에서 의미가 큽니다. 이는 기업이나 연구 기관이 자체 인프라에서 고성능 LLM을 운영하고자 할 때 중요한 참고 자료가 될 것이며, 특정 워크로드에 맞춰 모델 배포를 최적화할 수 있는 유연성을 제공합니다.