AMD의 MI300X GPU 한 장으로 304B(3040억) 매개변수를 가진 딥시크(DeepSeek) V4 플래시 대규모 언어모델(LLM)을 추가 가중치 양자화나 오프로딩 없이 성공적으로 구동하는 구성과 패치가 공개되었습니다. 이는 엔비디아(NVIDIA)가 주도하는 LLM 추론 시장에서 AMD 하드웨어의 가능성을 보여주는 중요한 이정표로 평가됩니다.
이번 성공의 핵심은 MI300X의 192GB HBM3 메모리를 최대한 활용한 것입니다. 156.67GiB(기가바이트)에 달하는 모델 가중치와 20GB의 GPU KV(Key-Value) 캐시를 모두 HBM에 배치하여 PCIe 대역폭 제약 없이 고속 처리가 가능해졌습니다. 또한, 퇴거된 프리픽스 캐시는 96GiB CPU 계층에 저장하는 하이브리드 KV 구성으로 효율성을 높였습니다. 고정된 vLLM ROCm 및 AITER 스택 환경에서 단일 스트림 디코드 중앙값 168.6 tok/s(토큰/초), 8개 스트림 합계 542 tok/s, 64개 버스트 합계 830 tok/s의 성능을 기록했으며, 256K(25만 6천) 컨텍스트 길이도 검증되었습니다. 특히 MI300X의 FNUZ FP8 형식, 고동시성 MoE 라우팅, 인과적 추측 검증, CPU-KV 동기화 등 여러 기술적 난제를 해결하기 위한 맞춤형 커널 튜닝과 오버레이 패치가 적용되었습니다.
이러한 성과는 LLM 추론 시장에서 AMD의 입지를 강화하는 데 크게 기여할 것으로 보입니다. 엔비디아 H100 SXM5 대비 2.4배 큰 HBM 용량을 가진 MI300X는 대규모 모델을 단일 GPU에서 직접 구동할 수 있어 비용 효율적인 솔루션을 제공할 잠재력이 있습니다. 이는 특히 중소기업이나 연구 기관이 고가의 엔비디아 GPU 클러스터 없이도 대규모 LLM을 활용할 수 있는 기회를 열어줄 수 있습니다. 또한, 이번 최적화 과정에서 드러난 AMD 하드웨어의 특성과 그에 맞는 소프트웨어 스택 개선점들은 향후 AMD의 AI 반도체 개발 방향에도 중요한 피드백이 될 것입니다.