인텔(Intel)이 인공지능(AI) 추론에 특화된 새로운 데이터센터 GPU 'D270'을 선보였습니다. 이 GPU는 대규모 AI 모델 학습보다는 실제 서비스 환경에서의 추론(inference) 성능에 집중하여 설계되었으며, 특히 긴 컨텍스트(context)와 여러 동시 세션을 처리해야 하는 에이전트(agent) 워크로드를 주요 목표로 합니다.
D270은 카드당 최대 480GB의 LPDDR5X 메모리를 탑재하여, 대규모 언어모델(LLM)의 긴 컨텍스트와 추론 과정에서 늘어나는 KV 캐시(Key-Value Cache)를 효율적으로 관리할 수 있습니다. 32개의 Xᵉ3P 코어와 256개의 XMX 행렬 엔진을 갖추고 있으며, 그래픽 및 레이 트레이싱(Ray Tracing) 파이프라인에 사용되던 다이(die) 면적을 추론 연산에 재배분하여 효율을 극대화했습니다. 또한, 350W 공랭식 설계와 표준 PCIe 5.0 인터페이스를 채택해 기존 서버 및 랙 시스템에 별도의 액체 냉각이나 전용 네트워크 개조 없이도 쉽게 배포할 수 있다는 장점이 있습니다. 이는 기업 AI, SaaS, GPUaaS, 정부 및 소버린 클라우드 등 다양한 환경에서 비용 효율적인 AI 인프라 구축을 가능하게 합니다.
이러한 D270의 특징은 에이전트 AI의 특성과 밀접하게 연결됩니다. 에이전트 AI는 하나의 작업을 수행하기 위해 모델 호출, 도구 사용, 검색, 추론, 응답 생성 등 여러 단계를 반복하며, 이 과정에서 긴 프롬프트(prompt)와 다단계 워크플로(workflow)가 빈번하게 발생합니다. 이때 프리필(prefill) 연산의 비중이 커지므로, 단순히 대역폭뿐만 아니라 메모리 용량, 동시성, 전력 효율이 매우 중요해집니다. D270은 대용량 메모리를 통해 모델과 긴 컨텍스트를 더 많이 상주시켜, HBM(고대역폭 메모리) 없이도 더 적은 GPU로 풍부한 컨텍스트를 활용하는 추론을 목표로 합니다. 이는 수천 단계의 에이전트 실행, 10만 토큰 컨텍스트, 수십 개의 동시 세션과 같은 고부하 환경에서도 안정적인 처리량을 제공하며, 장문 컨텍스트 RAG(검색 증강 생성), 기업 AI 비서, 코딩 비서, 문서 이해, 멀티모달 AI 등 다양한 고성능 추론 워크로드에 적합합니다.
인텔 D270의 출시는 AI 하드웨어 시장에서 추론 최적화의 중요성이 더욱 부각되고 있음을 보여줍니다. 엔비디아(NVIDIA)의 HBM 기반 고성능 GPU들이 학습 시장을 장악하고 있는 가운데, 인텔은 대용량 LPDDR5X 메모리와 기존 인프라 호환성을 강점으로 내세워 추론 시장에서 차별화를 꾀하고 있습니다. 이는 특히 비용 효율성과 전력 효율성이 중요한 기업 및 클라우드 환경에서 매력적인 대안이 될 수 있습니다. vLLM과 개방형 PyTorch 생태계에서 주요 개방형 모델을 출시 당일부터 지원하겠다고 밝힌 점도 개발자들의 접근성을 높여 시장 확대를 가속화할 것으로 예상됩니다.