6년간의 오픈소스 개발을 거쳐 데이터로그(Datalog) 데이터베이스인 데이터레빈(Datalevin)이 마침내 1.0 버전을 공개했습니다. 데이터레빈은 SQL 데이터베이스보다 뛰어난 사용 편의성(ergonomics)을 목표로 하며, 특히 온라인 트랜잭션 처리(OLTP) 워크로드에 강점을 보입니다. 관계형 및 그래프 쿼리 성능에서 기존 SQL 데이터베이스나 그래프 데이터베이스와 견줄 만한 경쟁력을 갖추면서도, 전문 검색(full-text search), 벡터 검색(vector search), 문서 색인(document indexing) 기능을 하나의 사실 기반 데이터 모델에 통합한 것이 특징입니다.
데이터레빈은 데이터믹(Datomic) 스타일의 데이터로그 쿼리 언어를 지원하지만, 복잡한 시간 관련 기능(temporal features)을 제거하고 일반적인 데이터베이스처럼 데이터 삭제 시 영구 삭제되는 방식을 채택하여 단순성을 강조합니다. 또한, 비용 기반 쿼리 최적화(cost-based query optimizer)를 통해 PostgreSQL 같은 관계형 데이터베이스나 Neo4j 같은 그래프 데이터베이스에 필적하는 쿼리 성능을 제공합니다. LMDB를 기반으로 강력한 ACID 트랜잭션과 WAL(Write-Ahead Logging), 비동기 트랜잭션 지원으로 쓰기 집약적인 워크로드도 효율적으로 처리할 수 있습니다.
이 데이터베이스는 최대 2GB 크기의 문서를 저장하고 JSON, EDN, Markdown 문서에 대한 경로 기반 색인을 자동으로 구축하여 MongoDB와 유사한 문서 데이터베이스로도 활용 가능합니다. 특히 AI 시대에 발맞춰 효율적인 SIMD 가속 벡터 색인 및 검색 라이브러리를 통합하여 벡터 데이터베이스 기능을 제공하며, 내장된 llama.cpp를 통해 인-DB 임베딩(in-DB embedding) 및 텍스트 생성까지 지원하는 AI 네이티브(AI-native) 설계를 갖췄습니다. 이를 통해 RAG(Retrieval Augmented Generation) 애플리케이션에서 임베딩 생성과 검색을 동일한 데이터베이스 런타임 내에서 처리할 수 있습니다.
데이터레빈은 라이브러리 형태로 애플리케이션에 내장되어 SQLite처럼 사용될 수도 있고, Raft 합의 기반의 고가용성 클러스터 구성과 역할 기반 접근 제어(RBAC)를 갖춘 네트워크 클라이언트/서버 모드(기본 포트 8898)로도 운영될 수 있습니다. Java, Python, Node.js, Clojure 등 다양한 언어 바인딩을 제공하여 개발자 접근성을 높였으며, Clojure 프로그램에 유용한 EDN(Extensible Data Notation) 데이터 처리 기능도 내장하고 있습니다. 이러한 다재다능함은 개발자들이 특정 사용 사례에 맞춰 데이터레빈을 유연하게 활용할 수 있게 합니다.
데이터레빈의 출시는 데이터 관리 방식에 대한 새로운 시각을 제시합니다. SQL의 한계를 느끼거나 그래프 데이터베이스의 복잡성에 부담을 느끼는 개발자들에게 데이터로그의 선언적이고 조합 가능한 특성, 그리고 자동 암시적 조인(automatic implicit joins) 같은 강력한 기능을 제공합니다. 특히 AI 기능의 통합은 RAG와 같은 최신 AI 애플리케이션 개발에 있어 데이터 저장 및 검색의 효율성을 크게 향상시킬 수 있습니다. 이는 데이터베이스 시장에 새로운 경쟁 구도를 형성하고, 개발자들이 더 효율적이고 유연하게 데이터를 다룰 수 있는 기회를 제공할 것으로 기대됩니다.