클라우드 스토리지에 저장된 대용량 데이터를 포스트그레스(Postgres) 데이터베이스로 가져오는 작업이 훨씬 빠르고 유연해질 전망입니다. 최근 'chdb'라는 새로운 포스트그레스 확장 기능이 공개되었는데, 이는 인-프로세스 클릭하우스(ClickHouse) 엔진을 활용하여 기존의 데이터 가져오기(import) 방식보다 2~3배 빠른 성능을 제공합니다. 이 확장 기능은 특히 다양한 데이터 형식 지원을 통해 개발자들의 데이터 처리 효율을 크게 향상시킬 것으로 기대됩니다.
chdb는 클릭하우스의 강력한 데이터 처리 능력을 포스트그레스 내에서 직접 활용합니다. 벤치마크 결과, NYC 택시 데이터셋(100만 행)을 CSV, JSON, Parquet 등 여러 형식으로 가져올 때, pg_duckdb나 pg_lake 같은 다른 인기 확장 기능보다 2~3배 빠른 속도를 보였습니다. 또한, aws_s3 확장 기능과 비슷한 성능을 내면서도 훨씬 더 많은 데이터 형식(TSV, CSV, JSON, BSON, Parquet, Avro, XML 등)과 압축 알고리즘(gzip, zstd, lz4 등)을 지원하는 것이 강점입니다. chdb는 'chdb_query()' 함수를 통해 직접 클릭하우스 쿼리를 실행하거나, 'chdb_hook' 모듈을 통해 COPY 명령에 연동하여 S3, GCS, Azure Blob Storage 등 다양한 클라우드 스토리지에서 데이터를 쉽게 가져올 수 있도록 설계되었습니다.
이러한 성능 향상과 유연성은 대규모 데이터 분석 및 처리 환경에서 포스트그레스의 활용도를 크게 높일 것입니다. 특히 데이터 레이크(Data Lake)나 데이터 웨어하우스(Data Warehouse)와 같은 환경에서 클라우드 스토리지에 쌓인 방대한 데이터를 포스트그레스로 빠르게 통합해야 하는 기업들에게 큰 이점을 제공합니다. 개발자들은 데이터 형식 변환 및 최적화에 드는 시간을 절약하고, 더 신속하게 데이터를 분석하고 활용할 수 있게 되어 전반적인 개발 생산성 향상에도 기여할 것으로 보입니다. 이는 포스트그레스 생태계의 확장과 함께 데이터 중심 애플리케이션 개발에 새로운 가능성을 열어줄 것입니다.