삼성전자가 '핫 칩스 2026'에서 LPDDR5X-PIM(Processing-in-Memory) 기술을 발표하며 메모리 내 연산(in-memory compute) 분야의 진전을 알렸습니다. 이 기술은 메모리 칩 내부에서 직접 연산을 수행함으로써, 데이터가 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 이동하는 데 필요한 시간과 에너지 소모를 줄이는 것을 목표로 합니다. 특히 LPDDR5X 칩에 연산 장치(MAC 유닛)를 통합하여, 기존 메모리 인터페이스의 대역폭 제약을 뛰어넘는 고속 데이터 처리를 가능하게 합니다.
삼성의 LPDDR5X-PIM은 일반 LPDDR5X-9600 칩과 유사하게 16개의 뱅크를 가지지만, 각 뱅크에 PIM 블록을 배치한 것이 특징입니다. 이 PIM 블록들은 외부 버스의 제약 없이 연결된 DRAM 뱅크에 접근하여, 칩 내부의 모든 16개 뱅크에 걸쳐 총 614GB/s에 달하는 내부 대역폭을 활용할 수 있습니다. 이는 일반 DRAM 접근 방식이 최대 76.8GB/s에 불과한 것과 비교하면 훨씬 높은 수치입니다. 각 PIM 블록은 MAC 어레이와 레지스터 파일, 제어 로직으로 구성되며, INT8 또는 FP8 형식의 저정밀도 연산을 지원하여 AI 모델의 추론(inference) 작업에 최적화되어 있습니다.
LPDDR5X-PIM의 가장 큰 장점 중 하나는 표준 LPDDR5X 프로토콜을 유지하면서도 연산 기능을 노출한다는 점입니다. 삼성은 특정 행 주소를 메모리 맵드 I/O(MMIO)처럼 활용하여 PIM 연산을 제어합니다. 소프트웨어는 일반 모드에서 모델 가중치를 DRAM에 로드한 후, 다중 뱅크 모드와 PIM 레지스터 활성화 모드로 전환하여 활성화 값, 스케일 팩터, 연산 명령 등을 PIM 레지스터에 기록합니다. 이후 읽기 명령을 통해 연산을 시작하고 결과를 얻으며, 다시 일반 모드로 전환하여 결과를 DRAM에 저장하거나 읽을 수 있습니다.
이 기술은 AI 및 머신러닝(ML) 워크로드에서 특히 중요한 의미를 가집니다. AI 모델의 크기가 커지고 연산량이 폭증하면서, 메모리와 프로세서 간의 데이터 이동이 병목 현상을 일으키는 경우가 많습니다. PIM은 이러한 '메모리 벽(memory wall)' 문제를 완화하여, 엣지 디바이스나 데이터 센터에서 AI 추론 성능을 크게 향상시킬 잠재력을 가지고 있습니다. 비록 단일 칩의 연산 처리량(2.4 TOPS)이 아주 높지는 않지만, 여러 LPDDR5X 칩을 함께 사용하면 인텔 메테오 레이크(Meteor Lake)의 NPU에 버금가는 총 9.6 INT8 TOPS를 달성할 수 있습니다. 이는 고성능 AI 시스템 구축에 새로운 설계 유연성을 제공할 것입니다.