최근 대규모 언어모델(LLM)의 확산과 함께 GPU(그래픽 처리 장치) 시장의 역학 관계가 변화하고 있습니다. 과거에는 주로 AI 모델 학습(training)이 GPU 수요를 견인했지만, 이제는 LLM이 실제 서비스에 적용되면서 발생하는 다양한 쿼리(query) 유형, 특히 실시간 추론(inference) 쿼리가 GPU 수요의 새로운 핵심 동력으로 부상하고 있습니다. 이는 GPU 제조사뿐만 아니라 AI 인프라를 구축하는 모든 기업에 중요한 시사점을 던집니다.
LLM 쿼리는 크게 두 가지 유형으로 나눌 수 있습니다. 첫째는 모델을 학습시키기 위한 대규모 데이터 처리 쿼리이고, 둘째는 학습된 모델을 이용해 실제 질문에 답하거나 콘텐츠를 생성하는 추론 쿼리입니다. 특히 사용자 경험에 직결되는 실시간 대화형 AI 서비스의 경우, 지연 시간(latency)을 최소화하는 것이 매우 중요합니다. 이러한 요구사항은 단순히 연산 능력뿐만 아니라, 효율적인 메모리 대역폭과 병렬 처리 능력을 갖춘 추론 전용 GPU의 필요성을 증대시키고 있습니다. 엔비디아(NVIDIA)와 같은 주요 GPU 공급업체들은 이미 이러한 추세에 맞춰 추론 성능을 강화한 제품 라인업을 선보이며 시장 변화에 대응하고 있습니다.
이러한 변화는 AI 인프라 구축 전략에도 영향을 미칩니다. 기업들은 더 이상 학습용 GPU만을 고려하는 것이 아니라, 서비스의 특성과 쿼리 유형에 맞춰 추론에 최적화된 GPU를 도입하거나 클라우드 기반의 추론 서비스를 활용하는 방안을 모색해야 합니다. 이는 GPU 시장의 세분화를 가속화하고, 추론 최적화 솔루션 및 서비스 분야에서 새로운 스타트업 기회를 창출할 수 있습니다. 궁극적으로는 사용자에게 더 빠르고 효율적인 AI 서비스를 제공하며, AI 기술의 대중화를 더욱 앞당기는 계기가 될 것입니다.