클릭하우스(ClickHouse)가 자사의 임베디드 엔진인 chDB를 활용한 PostgreSQL 확장 도구 'pg_chdb'를 공개했습니다. 이 도구는 PostgreSQL 사용자가 S3, GCS, Azure Blob, HTTP, 로컬 파일 시스템 등 다양한 외부 소스에 저장된 데이터를 PostgreSQL 환경 내에서 직접 조회하고 관리할 수 있도록 지원합니다. 이는 데이터 통합 및 분석 워크플로우를 크게 간소화할 수 있는 중요한 발전입니다.
pg_chdb는 'chdb_query()' 함수를 통해 클릭하우스 쿼리를 PostgreSQL에서 실행하고 그 결과를 행과 열 형태로 반환합니다. 특히 'chdb_hook' 모듈은 PostgreSQL의 기존 COPY 명령을 확장하여 S3, GCS 등에서 데이터를 가져오거나 내보내는 기능을 제공합니다. CSV, JSON 같은 일반적인 형식 외에도 Parquet, Arrow, Avro, ORC 등 빅데이터 환경에서 널리 사용되는 다양한 파일 형식과 압축 파일을 처리할 수 있으며, 파일명 패턴을 이용해 여러 파일을 한 번에 읽는 것도 가능합니다. 또한, CREATE TABLE 명령에 파일 URL을 지정하면 열 구조를 자동으로 추론하여 테이블을 생성하고 데이터를 채워 넣는 편리한 기능도 포함되어 있습니다. 자체 벤치마크에 따르면 약 100만 행의 데이터를 가져올 때 pg_duckdb나 pg_lake와 같은 다른 확장 도구보다 2~3배 빠른 성능을 보여주었습니다. pg_chdb는 별도의 보조 프로세스(auxiliary process)로 실행되어 PostgreSQL의 안정성을 해치지 않으며, 각 쿼리는 임시 chDB 데이터베이스에서 독립적으로 실행됩니다.
이번 pg_chdb 출시는 PostgreSQL을 데이터 분석 및 통합의 허브로 활용하려는 사용자들에게 큰 이점을 제공합니다. 데이터 레이크(Data Lake)에 저장된 대규모 데이터를 PostgreSQL로 직접 가져와 분석하거나, 다양한 형식의 외부 데이터를 손쉽게 통합하여 활용할 수 있게 되면서 데이터 파이프라인 구축의 복잡성을 줄일 수 있습니다. 이는 데이터 엔지니어링 및 분석 작업의 효율성을 높이고, PostgreSQL 생태계의 활용 범위를 더욱 확장하는 계기가 될 것으로 보입니다. 다만, 현재는 각 쿼리가 독립적으로 실행되므로 chDB 쿼리로 생성한 테이블을 다음 호출에서 재사용할 수 없다는 점과, 큰 작업 시 PostgreSQL의 CPU 자원 과소비를 막기 위해 스레드 수 및 메모리 상한 설정이 권장된다는 점은 사용 시 고려해야 할 부분입니다.