최근 한 개발자가 AMD의 MI300X GPU 단일 장비에서 딥시크 AI(DeepSeek AI)의 최신 대규모 언어모델(LLM)인 '딥시크 V4 플래시(DeepSeek V4 Flash)'를 성공적으로 운영하는 방법을 공개했습니다. 이 프로젝트는 엔비디아(NVIDIA) GPU가 지배적인 LLM 추론(inference) 시장에서 AMD 하드웨어의 잠재력을 입증하며, 비용 효율적인 대안을 찾는 기업들에게 중요한 시사점을 제공합니다.
이 개발자는 딥시크 V4 플래시 모델을 MI300X에 최적화하기 위해 여러 기술적 난관을 해결했습니다. 특히 MI300X의 고유한 FP8 형식 호환성 문제, 높은 동시성 환경에서의 MoE(Mixture-of-Experts) 라우팅 오류, 그리고 CPU-KV(Key-Value) 동기화 문제 등을 해결하기 위한 패치와 튜닝을 적용했습니다. 그 결과, 단일 스트림에서 초당 168.6 토큰(tok/s)의 디코딩 속도를 달성했으며, 8개 동시 스트림에서는 총 542 토큰/초, 최대 64개 스트림 버스트 상황에서도 메모리 부족(OOM) 없이 830 토큰/초의 집계 속도를 기록했습니다. MI300X는 192GB의 HBM3 메모리를 탑재하여 304B(3040억) 파라미터 모델 전체를 GPU 메모리에 올릴 수 있어, PCIe를 통한 가중치 스트리밍이나 레이어 오프로드 없이 단일 GPU 배포가 가능했습니다. 이는 엔비디아 H100 SXM5 대비 2.4배 높은 HBM 용량으로, 절반 수준의 비용으로 유사하거나 더 나은 성능을 제공할 수 있음을 시사합니다.
이번 성과는 LLM 인프라 구축에 있어 하드웨어 선택의 폭을 넓히는 중요한 이정표입니다. 엔비디아 GPU에 대한 의존도를 줄이고자 하는 기업들에게 AMD MI300X는 매력적인 대안이 될 수 있으며, 이는 LLM 서비스의 운영 비용 절감으로 이어질 수 있습니다. 특히, 대규모 모델을 단일 GPU에서 안정적으로 구동할 수 있다는 점은 중소기업이나 스타트업에게도 고성능 LLM을 활용할 수 있는 기회를 제공할 것입니다. 앞으로 AMD 하드웨어 생태계의 성숙과 함께 더 다양한 LLM이 최적화될 가능성이 열렸으며, 이는 AI 인프라 시장의 경쟁을 촉진하고 혁신을 가속화할 것으로 기대됩니다.