AI 애플리케이션 개발의 고질적인 문제 중 하나는 여러 데이터베이스와 서비스를 복잡하게 연결해야 한다는 점입니다. 관계형 데이터베이스, 벡터 데이터베이스, 임베딩 API, 객체 저장소, 데이터 파이프라인 등 3~5가지 서비스를 개별적으로 구축하고 통합하는 과정은 개발자에게 큰 부담이었습니다. 이러한 비효율성을 해결하기 위해, 최근 오픈소스 AI 네이티브 데이터베이스인 'GalaxDB'가 등장했습니다.
GalaxDB는 이 모든 기능을 단일 시스템으로 통합하여 PostgreSQL 와이어 프로토콜을 통해 작동합니다. 덕분에 기존에 사용하던 psycopg2, SQLAlchemy 같은 PostgreSQL 클라이언트 도구들을 그대로 활용할 수 있습니다. 특히, 7.9MB의 서버와 7.6MB의 사이드카로 구성된 경량 바이너리 형태로 제공되어 설치 및 관리가 용이합니다. GalaxDB는 SQL 확장 기능을 통해 시맨틱 검색(SEMANTIC_MATCH), 시점 쿼리(AT VERSION), 중복 제거(NOT DUPLICATE), 학습 데이터셋 내보내기(CREATE VERSION TAG FOR TRAINING) 등 AI 시대에 필요한 특화된 데이터 처리 기능을 제공합니다. 또한, SIFT-1M 벤치마크에서 0.990의 높은 벡터 검색 재현율을 보였으며, 쓰기 TPS는 PostgreSQL 16 대비 약 80배 빠른 258,555를 기록하는 등 뛰어난 성능을 자랑합니다.
GalaxDB의 등장은 AI 애플리케이션 개발의 패러다임을 바꿀 잠재력을 가지고 있습니다. 여러 서비스를 통합 관리하는 복잡성을 줄여 개발 시간을 단축하고 운영 비용을 절감할 수 있기 때문입니다. 특히, 단일 연결 문자열, 단일 백업, 단일 모니터링 엔드포인트로 관리 효율성을 극대화할 수 있습니다. 이는 스타트업이나 1인 개발자가 AI 서비스를 구축할 때 진입 장벽을 낮추고, 더 빠르고 효율적으로 혁신적인 제품을 시장에 선보일 수 있는 중요한 기회가 될 것입니다. 학습 데이터셋을 Lance 포맷으로 바로 내보내는 기능은 머신러닝 워크플로우를 간소화하여 데이터 과학자들에게도 큰 이점을 제공합니다.