퀄컴이 생성형 AI와 대규모 언어모델(LLM) 추론을 위한 새로운 AI 가속기 카드 '클라우드 AI 100 울트라(Cloud AI 100 Ultra)'를 공개했습니다. 이 카드는 150W의 전력 소비량으로 128GB의 ECC 지원 메모리와 548GB/s의 메모리 대역폭을 제공하며, 대규모 AI 배포 환경에서 성능, 전력 효율성, 그리고 비용 최적화를 핵심 목표로 삼고 있습니다. 이는 엔비디아(NVIDIA)가 지배하는 AI 가속기 시장에 퀄컴이 본격적으로 도전장을 내민 것으로 풀이됩니다.
클라우드 AI 100 울트라는 카드당 64개의 AI 코어와 최대 576MB의 온다이 SRAM을 탑재하고 있으며, 최대 연산 성능은 INT8 기준 870 TOPS, FP16 기준 288 TFLOPS에 달합니다. 컴퓨터 비전, 자연어 처리(NLP)는 물론 트랜스포머(Transformer) 기반 LLM까지 다양한 AI 워크로드를 지원하도록 설계되었습니다. 또한, PCIe Gen4 16레인을 통해 호스트 시스템에 연결되며, 퀄컴 AI 추론 스위트(Qualcomm AI Inference Suite)라는 소프트웨어 스택을 함께 제공하여 온프레미스(On-premise) 및 클라우드 환경 모두에서 AI 애플리케이션 개발과 배포를 용이하게 합니다.
이번 퀄컴의 신제품 출시는 AI 가속기 시장의 경쟁을 심화시킬 중요한 전환점이 될 수 있습니다. 특히 전력 효율성과 비용 최적화에 중점을 둔 만큼, 클라우드 서비스 제공업체나 대규모 AI 인프라를 구축하려는 기업들에게 매력적인 대안이 될 수 있습니다. 메모리 대역폭이 엔비디아의 최신 고성능 GPU에 비해 낮다는 지적도 있지만, 퀄컴은 연산 집약도를 높이거나 추측 디코딩(speculative decoding) 같은 기술을 통해 이를 극복하고 LLM 프리필(prefill) 및 이미지/영상 생성 등 특정 작업에서 강점을 보일 것으로 예상됩니다. 이는 AI 인프라 구축 비용 절감과 효율성 향상이라는 측면에서 업계 전반에 긍정적인 영향을 미칠 것입니다.