SK하이닉스가 대규모 언어모델(LLM)의 추론(inference) 속도를 획기적으로 높일 수 있는 새로운 기술, '니어-메모리 디퀀타이제이션(Near-memory Dequantization)' 아키텍처를 공개했습니다. 이 기술은 AI 가속기의 핵심 부품인 고대역폭 메모리(HBM) 내부에 양자화 해제 기능을 통합하여, 데이터가 메모리와 프로세서 사이를 오가는 양을 최소화함으로써 전력 소모를 줄이고 추론 지연 시간을 단축하는 것을 목표로 합니다.
기존 LLM 추론 과정에서는 모델의 크기를 줄이기 위해 저정밀도로 양자화(quantization)된 데이터를 메모리에 저장하고, 이를 다시 고정밀도로 복원하는 양자화 해제(dequantization) 과정을 프로세서(GPU 등)에서 수행했습니다. 하지만 이 방식은 대량의 데이터를 메모리에서 프로세서로, 다시 프로세서에서 메모리로 이동시켜야 하므로 병목 현상과 높은 전력 소모를 유발했습니다. SK하이닉스의 새로운 아키텍처는 이러한 양자화 해제 로직을 HBM 스택 내부에 직접 배치하여, 데이터가 프로세서로 이동하기 전에 메모리 근처에서 복원되도록 합니다. 이는 데이터 이동 거리를 줄여 에너지 효율을 높이고, 전체 시스템의 추론 성능을 향상시키는 핵심적인 개선점입니다.
이 기술은 AI 반도체 시장의 판도를 바꿀 중요한 진전으로 평가됩니다. LLM의 크기가 기하급수적으로 커지면서 추론 비용과 속도가 주요 병목으로 작용하고 있는데, SK하이닉스의 니어-메모리 디퀀타이제이션은 이 문제를 직접적으로 해결하는 솔루션입니다. 특히, AI 서비스 제공업체들이 더 빠르고 효율적인 AI 추론을 요구함에 따라, 이러한 HBM 기반의 기술 혁신은 AI 가속기 제조사들에게 강력한 경쟁 우위를 제공할 것입니다. 이는 궁극적으로 더 저렴하고 빠른 AI 서비스를 가능하게 하여, AI 기술의 광범위한 확산에 기여할 것으로 예상됩니다.