AI 반도체 스타트업 d-Matrix가 대규모 언어모델(LLM) 추론(inference)에 특화된 새로운 칩 '코르텍스(Cortex)'를 발표하며 업계의 주목을 받고 있습니다. 이 칩은 LLM 구동에 필수적인 행렬 곱셈 연산을 효율적으로 처리하도록 설계되어, 기존 그래픽처리장치(GPU) 중심의 AI 인프라가 가진 높은 전력 소모와 비용 문제를 해결하는 데 기여할 것으로 보입니다.
d-Matrix의 코르텍스 칩은 특히 LLM 추론 과정에서 발생하는 데이터 이동을 최소화하고, 온-칩(on-chip) 메모리 활용을 극대화하여 전력 효율을 높이는 데 중점을 뒀습니다. 이는 LLM이 방대한 양의 파라미터를 사용하기 때문에 추론 시 막대한 연산 자원과 전력을 요구하는 문제에 대한 직접적인 해결책을 제시합니다. 회사 측은 코르텍스 칩이 특정 LLM 워크로드에서 GPU 대비 훨씬 적은 전력으로 더 높은 성능을 제공할 수 있다고 강조했습니다.
이번 d-Matrix의 코르텍스 칩 출시는 LLM 서비스의 경제성을 개선하고 더 넓은 범위의 기업들이 AI를 활용할 수 있도록 돕는 중요한 진전으로 평가됩니다. 현재 LLM 추론 비용은 서비스 제공자들에게 상당한 부담으로 작용하고 있으며, 전력 효율적인 전용 칩의 등장은 이러한 운영 비용을 절감하여 AI 기술의 상업적 확산을 가속화할 수 있습니다. 이는 데이터센터 인프라의 미래와 AI 서비스 모델에 큰 영향을 미칠 잠재력을 가지고 있습니다.