엔비디아(Nvidia)의 AI 시장 지배력에 대한 기존 서사는 GPU 독점 공급에서 비롯된 것이었지만, 최근 아마존(Amazon), 구글(Google) 등 하이퍼스케일러들의 자체 칩 개발로 경쟁이 심화되면서 엔비디아의 미래에 대한 우려가 제기되어 왔습니다. 그러나 최근 엔비디아의 실적 발표 이후 새로운 관점이 부상하고 있습니다. 엔비디아의 진정한 강점은 단순히 고성능 GPU를 넘어 AI 데이터센터 시스템 전반의 효율성을 극대화하는 데 있다는 것입니다.
엔비디아는 현재 루빈(Rubin) GPU와 함께 베라(Vera) CPU, 그록 3 LPX(Groq 3 LPX) 추론 가속기 등 스토리지 및 네트워킹을 위한 다양한 전용 시스템을 포함하는 베라 루빈(Vera Rubin) 아키텍처를 선보이고 있습니다. 이 시스템들은 GPU의 연산 능력 자체를 높이는 대신, GPU 외부의 모든 요소가 최대한 효율적으로 작동하도록 조율하는 역할을 합니다. 특히 베라 CPU는 데이터 오케스트레이션, 즉 방대한 데이터를 적시에 GPU로 전달하는 문제 해결에 집중하고 있습니다. 엔비디아의 스토리지 기술 담당 부사장 제이슨 하디(Jason Hardy)는 베라 CPU가 이러한 작업에서 최대 3배의 성능 향상을 가져와 플래시 스토리지의 잠재력을 최대한 활용할 수 있게 한다고 밝혔습니다.
이는 AI 연산 규모가 기가와트(gigawatt) 단위로 커지면서 데이터센터의 효율적인 운영이 점점 더 복잡해지고 있기 때문입니다. 단순히 더 많은 프로세서 사이클을 돌리는 것을 넘어, 데이터 흐름을 지능적으로 제어하여 전력 소비량 대비 토큰(tokens-per-watt) 처리량을 낮추는 것이 중요해진 것입니다. 오픈AI(OpenAI)가 자체 개발한 잘라페뇨(Jalapeño) 칩 역시 데이터 이동을 최소화하여 효율성을 높이는 데 중점을 두는 등, 업계 전반에서 데이터 오케스트레이션의 중요성이 부각되고 있습니다. 이러한 변화는 AI 인프라 경쟁의 초점이 새로운 영역으로 이동했음을 의미하며, 엔비디아는 이 새로운 레이어에서 강력한 선두를 차지하고 있는 것으로 보입니다.