엔비디아(NVIDIA)의 차세대 AI 슈퍼칩인 블랙웰(Blackwell) 기반 NVL72 시스템이 진정한 잠재력을 발휘하려면 하드웨어뿐만 아니라 소프트웨어 최적화가 필수적입니다. 특히, 랙(rack) 내 72개 GPU를 NVLink로 연결하는 NVL72의 강력한 통신 대역폭을 온전히 활용하기 위해서는 '랙 인지형 스케줄러(Topology-Aware Scheduler)'가 핵심적인 역할을 합니다. 기존 스케줄러는 다중 노드 작업을 여러 랙에 무작위로 분산시켜 고속 NVLink 대신 느린 인피니밴드(InfiniBand) 통신을 사용하게 만들었고, 이는 학습 처리량을 최대 43%까지 감소시키는 병목 현상을 초래했습니다.
새로운 랙 인지형 스케줄러는 GPU 작업을 단일 랙 내에 효율적으로 배치하여 NVLink의 초고속 통신 이점을 극대화합니다. 예를 들어, 18개 노드로 구성된 랙에서 16개 노드만 사용하고 2개 노드를 예비(hot-spare)로 두는 정책을 적용하면, 노드 장애 발생 시에도 전체 랙의 가용성을 유지하면서 사용 가능한 GPU 용량을 27% 확대할 수 있습니다. 엔비디아 GR00T N1.7 사전 학습 비교에서는 512개 GB300 GPU를 랙 인지형 슬라이스 정책으로 배치했을 때, 임의 배치 대비 처리량이 14.4% 증가하는 것이 확인되었습니다. 이는 대규모 AI 모델 학습 시간을 단축하고 운영 비용을 크게 절감할 수 있음을 의미합니다.
이러한 랙 인지형 스케줄링은 단순한 초기 배치에 그치지 않고, 공유 클러스터 환경에서 발생하는 자원 단편화(fragmentation) 문제 해결에도 기여합니다. 다양한 작업이 종료되면서 빈 노드가 여러 랙에 흩어지는 단편화는 랙 규모 작업 실행을 어렵게 만드는데, '자동 조각 모음(Automatic Defragmentation)' 기능은 중단 영향이 가장 적은 작업을 찾아 다른 랙으로 옮겨 비어있는 랙에 대규모 작업을 배치할 수 있도록 합니다. 궁극적으로 NVL72와 같은 고성능 AI 인프라의 투자 효율을 극대화하고, 대규모 AI 모델의 개발 및 배포 속도를 가속화하는 데 필수적인 요소로 자리매김할 것입니다.