삼성전자가 인공지능(AI) 시대의 고질적인 문제인 '폰 노이만 병목(Von Neumann Bottleneck)'을 해결하기 위해 메모리 내 연산(Processing-In-Memory, PIM) 기술을 적용한 LPDDR5X-PIM을 선보였습니다. 이 기술은 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 전송하지 않고 메모리(DRAM) 내부에서 직접 AI 연산을 수행함으로써, 데이터 이동에 따른 에너지 소모와 지연을 줄이고 대역폭 한계를 극복하려는 혁신적인 접근 방식입니다.
LPDDR5X-PIM은 16개의 DRAM 뱅크(bank)마다 곱셈 누산(MAC) 연산기를 내장한 것이 특징입니다. 일반 LPDDR5X-9600의 외부 대역폭이 76.8GB/s인 반면, PIM은 16개 뱅크의 내부 대역폭을 동시에 활용해 최대 614GB/s에 달하는 압도적인 대역폭을 제공합니다. 이는 AI 추론(inference) 시 모델 가중치를 반복적으로 읽어 곱셈과 덧셈을 수행하는 과정에서 발생하는 메모리 대역폭 병목 현상을 크게 완화할 수 있습니다. 삼성은 기존 LPDDR5X 메모리 컨트롤러와 호환되도록 특수한 행 주소와 기존 읽기/쓰기 명령을 재활용하여 PIM 모드와 연산을 제어하는 방식을 채택했습니다. 각 PIM 블록은 INT8, FP8 등 저정밀 AI 연산에 최적화되어 있으며, 메모리 패키지 전체에서 최대 2.4 TOPS(Tera Operations Per Second)의 성능을 제공합니다.
하지만 LPDDR5X-PIM이 실제 시스템에 광범위하게 적용되기까지는 여러 과제가 남아있습니다. 기존 명령의 의미를 변경하는 방식 때문에 일반 메모리 접근과 PIM 연산을 동시에 수행하기 어렵고, 멀티태스킹, 캐시 일관성(cache coherence), 선행 실행(prefetching) 등에서 문제가 발생할 수 있습니다. PIM 모드에서는 CPU나 GPU가 모르는 사이에 DRAM 데이터가 변경될 수 있어 캐시 불일치 문제가 생기며, 캐시를 사용하지 않는 PIM 메모리 영역은 CPU 성능 저하로 이어질 수 있습니다. 궁극적으로 PIM의 잠재력을 완전히 실현하려면 메모리 칩뿐만 아니라 CPU, 메모리 컨트롤러, 운영체제(OS) 및 명령어 집합(ISA) 전반에 걸친 광범위한 하드웨어 및 소프트웨어 생태계의 변화가 필요하다는 것이 전문가들의 분석입니다. 특정 AI 연산에 특화된 가속기로서의 가치는 크지만, 범용 컴퓨팅 환경에 자연스럽게 통합되기 위해서는 추가적인 표준화와 개발 노력이 요구됩니다.