AI 추론 워크로드의 성능을 혁신적으로 개선할 수 있는 새로운 캐싱 솔루션 'Murr'가 공개되어 주목받고 있습니다. Murr는 서브 밀리초(sub-millisecond) 단위의 낮은 지연 시간을 목표로 하며, 기존의 Redis(레디스)를 대체할 수 있는 강력한 대안으로 제시됩니다. 특히 대규모 배치(batch) 처리 방식의 데이터 읽기 및 쓰기에 최적화되어, AI/ML 데이터 파이프라인의 효율성을 극대화할 수 있습니다.
Murr는 RocksDB를 기반으로 NVMe와 S3 스토리지를 활용하는 계층형 저장(tiered storage) 방식을 채택합니다. 자주 접근하는 핫(hot) 데이터는 메모리에, 덜 사용되는 콜드(cold) 데이터는 디스크에 저장하며, S3 기반 복제를 통해 데이터 영속성과 안정성을 확보합니다. Parquet(파케이) 파일을 입력받아 Arrow-Flight(애로우-플라이트)로 출력하며, 1GB 규모의 Parquet/Arrow 파일을 Ingestion API에 직접 투입할 수 있습니다. 또한 제로카피(zero-copy) 와이어 프로토콜을 통해 API 응답에서 NumPy(넘파이) 배열, Pandas(판다스) 데이터프레임, PyTorch(파이토치) 텐서를 변환 없이 구성할 수 있어 데이터 처리 오버헤드를 최소화합니다. 무상태(stateless) 설계로 모든 상태를 S3에 보존하고 블록 스토리지에서 자체 부트스트랩(bootstrap)이 가능해, 노드 장애 시에도 신속한 복구가 가능합니다.
이러한 Murr의 등장은 AI/ML 개발 및 운영 환경에 상당한 변화를 가져올 것으로 예상됩니다. 특히 데이터가 무겁고 표 형태(tabular)이며, S3에 저장된 대용량 Parquet 덤프와 같이 읽기 작업이 배치로 이뤄지는 시나리오에 매우 적합합니다. 벤치마크 결과, Murr는 Redis 대비 packed-blob 읽기에서 약 3배, Feast(피스트) 스타일 HSET(해시셋)에서 약 12배 빠른 성능을 보였으며, HSET 대비 약 3배 적은 RAM을 사용해 비용 효율성도 뛰어납니다. 이는 대규모 AI 모델의 추론 속도를 높이고 운영 비용을 절감하는 데 크게 기여할 수 있습니다. Murr는 범용 데이터베이스가 아니므로 OLTP(온라인 트랜잭션 처리)나 범용 캐싱에는 적합하지 않지만, 특정 AI 워크로드에 특화된 강력한 솔루션으로 자리매김할 것입니다.