AMD의 MI355X AI 가속기가 2.8조 파라미터(매개변수) 규모의 초대형 언어모델(LLM)인 Kimi K3 추론(inference)에서 엔비디아(NVIDIA) B300 대비 더 높은 달러당 성능을 기록하며 주목받고 있습니다. Wafer.ai의 벤치마크 결과에 따르면, MI355X는 총 처리량(throughput) 면에서는 B300에 뒤처지지만, GPU 시간당 가격이 훨씬 저렴해 비용 효율성 측면에서 우위를 확보했습니다. 이는 고성능 AI 모델을 경제적으로 운영하려는 기업들에게 중요한 시사점을 제공합니다.
구체적으로, 8개의 AMD MI355X GPU로 구성된 단일 노드는 Kimi K3 모델을 실행하여 총 952 토큰/초(tok/s)의 처리량과 단일 스트림(single stream)에서 118 토큰/초를 달성했습니다. 반면, 엔비디아 B300은 총 1,568 토큰/초, 단일 스트림 172 토큰/초로 MI355X보다 약 1.65배 높은 총 처리량을 보였습니다. 그러나 GPU 시간당 가격을 MI355X는 2.50달러, B300은 6.00달러로 적용했을 때, MI355X는 달러당 48 토큰/초를 기록하며 B300의 33 토큰/초를 크게 앞섰습니다. MI355X는 GPU당 288GB의 높은 HBM(고대역폭 메모리) 용량을 갖춰 1.5TB가 넘는 Kimi K3의 가중치(weights)와 100만 토큰 KV 캐시(Key-Value cache)를 단일 노드에 담을 수 있었던 반면, 192GB VRAM을 가진 B200은 두 노드의 TP16(Tensor Parallelism 16) 구성이 필요해 노드 간 통신 비용이 발생했습니다. 또한, 추측 디코딩(speculative decoding)과 AITER MLA 커널 최적화를 통해 단일 스트림 성능을 약 2.2배 향상시키고 첫 토큰 도달 시간(TTFT)을 단축하는 등 소프트웨어 최적화 노력도 병행되었습니다.
이번 결과는 대규모 언어모델 시장에서 엔비디아의 독점적인 지위에 AMD가 도전할 수 있는 중요한 가능성을 보여줍니다. 특히, Kimi K3와 같이 메모리 요구량이 매우 큰 초대형 오픈소스 모델들이 증가하면서, 높은 HBM 용량을 갖춘 MI355X의 장점이 더욱 부각되고 있습니다. 이는 클라우드 서비스 제공업체나 자체 데이터센터를 운영하는 기업들이 AI 인프라를 구축할 때 비용 효율성을 최우선으로 고려하게 될 것임을 의미합니다. 또한, AMD의 ROCm 생태계 지원이 개선되고 소프트웨어 최적화가 지속된다면, 개발자들은 더 많은 선택지를 갖게 될 것이며, 이는 장기적으로 AI 가속기 시장의 경쟁을 심화시켜 전체적인 AI 인프라 비용 절감에 기여할 것으로 예상됩니다.