마이크로소프트(MS)가 자사 AI 서비스의 핵심인 추론(inference) 작업을 위한 자체 AI 칩 '애저 마이아 300(Azure Maia 300)'을 공개했습니다. 2027년부터 이 칩을 대규모로 배포하여 코파일럿(Copilot)과 같은 AI 비서 서비스의 성능을 높이고 운영 효율을 극대화할 계획입니다. 이는 엔비디아(NVIDIA) 등 외부 AI 칩 의존도를 낮추고, 자체 AI 인프라를 강화하려는 전략의 일환으로 풀이됩니다.
마이아 300은 긴 문맥 추론, 짧은 응답 지연이 필요한 대화형 서비스, 그리고 여러 단계를 수행하는 AI 에이전트 작업에 최적화되어 설계되었습니다. MS는 마이아 300이 기존 GPU 기반 시스템보다 전력 1메가와트(MW)당 40% 더 많은 토큰(AI 처리 단위)을 처리할 것으로 기대하고 있습니다. 또한, 가속기 96개를 탑재한 랙 구성에서는 이전 세대인 마이아 200 대비 최대 7배 높은 토큰 처리량을 제공합니다. 칩 설계는 연산 성능보다는 데이터 이동 효율에 중점을 두었으며, 최신 고대역폭메모리(HBM4)를 8개 적층하고 칩 내부 메모리를 활용해 데이터 병목 현상을 줄였습니다. 연산 칩렛은 TSMC의 2나노급 N2P 공정으로 생산되며, 이더넷 기반 네트워크를 통해 확장성을 확보했습니다.
이번 마이아 300 공개는 MS가 AI 시대의 핵심 인프라를 자체적으로 통제하려는 강력한 의지를 보여줍니다. AI 모델의 학습(training)만큼 중요한 추론 단계의 효율성을 높임으로써, 코파일럿과 같은 대규모 AI 서비스의 운영 비용을 절감하고 사용자 경험을 개선할 수 있습니다. 또한, 하드웨어와 소프트웨어 팀의 긴밀한 협력을 통해 실제 서비스 운영 경험을 칩 설계에 반영한 점은, AI 칩 개발의 새로운 방향성을 제시하며 업계 전반에 영향을 미칠 것으로 예상됩니다. 이는 장기적으로 MS의 클라우드 서비스 애저(Azure)의 경쟁력을 강화하고 AI 시장 리더십을 공고히 하는 데 중요한 역할을 할 것입니다.