최근 오픈소스 대규모 언어모델(LLM)의 발전이 눈부신 가운데, 2.8조(Trillion) 파라미터에 달하는 Kimi K3 모델을 효율적으로 구동하는 데 AMD의 MI355X GPU가 엔비디아(NVIDIA)의 B300 GPU보다 뛰어난 가격 대비 성능을 제공한다는 분석이 나왔습니다. 이는 Wafer.ai의 테스트 결과로, MI355X가 B300 대비 약 2.4배 저렴한 가격에도 불구하고 더 높은 초당 토큰 처리량(tok/s)을 기록하며, 특히 대용량 VRAM이 필수적인 최신 모델 구동에서 AMD의 잠재력을 입증했습니다.
Kimi K3는 1.5TB 이상의 VRAM을 요구하는 거대 모델로, 192GB VRAM을 가진 엔비디아 B200 GPU 8개로 구성된 단일 노드에서도 구동이 어렵습니다. 이 때문에 B300 노드(GPU당 288GB VRAM)를 사용하거나 B200 노드 두 개를 연결해야 하는 상황입니다. 하지만 AMD의 MI355X 역시 GPU당 288GB의 VRAM을 제공하며, B300보다 약 2.4배, B200보다 약 1.7배 저렴합니다. Wafer.ai의 벤치마크에 따르면, 1,024 토큰 입력 및 400 토큰 출력 환경에서 MI355X는 노드당 952 tok/s를 달성하여 B200 2개 노드 구성(498 tok/s)보다 3.8배 높은 집계 처리량을 보였습니다. B300 노드가 집계 처리량에서 MI355X보다 1.65배 우위였지만, 2.4배 높은 가격을 고려하면 MI355X가 성능 대비 비용 효율성 면에서 압도적인 우위를 차지합니다.
물론 AMD GPU는 엔비디아 대비 소프트웨어 지원이 부족하다는 단점이 있었지만, Wafer.ai는 추론 프레임워크 최적화와 커널 개선을 통해 이러한 격차를 줄이고 있다고 밝혔습니다. 특히 Kimi K3의 경우 AMD가 출시 당일부터 지원을 제공하여 최적화 작업이 수월했습니다. Wafer.ai는 스페큘레이티브 디코드(speculative decode) 및 프리필(prefill) 최적화를 통해 MI355X의 성능을 크게 향상시켰습니다. 스페큘레이티브 디코드 문제 해결로 단일 스트림 성능이 약 2.2배 증가했으며, 프리필 최적화를 통해 첫 토큰 생성 시간(TTFT)을 2~3배 단축하는 성과를 거두었습니다.
이러한 결과는 대규모 언어모델 시장에서 엔비디아의 독점적 지위에 도전하는 AMD의 강력한 신호탄이 될 수 있습니다. 특히 Kimi K3와 같이 방대한 메모리 용량을 요구하는 최신 모델의 등장으로 고대역폭 메모리(HBM) 용량에 집중한 MI355X의 전략이 실질적인 이점으로 작용하고 있습니다. 이는 클라우드 서비스 제공업체나 대규모 언어모델을 자체 구축하려는 기업들에게 비용 효율적인 대안을 제시하며, AI 인프라 시장의 경쟁을 심화시킬 것으로 예상됩니다.