ParqDB가 서버를 거치지 않고 웹 브라우저에서 직접 객체 스토리지(Object Storage)에 저장된 파케이(Parquet) 파일 기반의 벡터 검색(Vector Search)을 수행하는 혁신적인 기술을 선보였습니다. 이 기술은 웹어셈블리(WASM)를 활용하여 사용자의 검색 쿼리를 브라우저 내에서 처리하고, 필요한 데이터만 객체 스토리지에서 직접 읽어오는 방식으로 작동합니다. 이는 기존의 서버 기반 벡터 데이터베이스(Vector DB) 시스템과 달리, 검색 서버가 필요 없어 비용을 절감하고 사용자 데이터가 외부로 전송되지 않아 개인 정보 보호를 강화할 수 있다는 점에서 주목받고 있습니다.
ParqDB는 약 10만 개의 위키백과(Wikipedia) 문서에 대한 미니LM(MiniLM) 임베딩(embedding)을 기반으로 IVF-LVQ8 인덱스(index)를 구축하고, 이를 불변의 파케이 파일 형태로 객체 스토리지에 발행합니다. 사용자가 브라우저에서 검색 질문을 입력하면, 브라우저는 웹어셈블리 환경에서 쿼리를 임베딩하고, HTTP 범위 요청(HTTP Range Request)을 통해 객체 스토리지에서 필요한 바이트 범위만 읽어옵니다. 이후 웹어셈블리 내에서 결과를 랭킹하여 보여주므로, 어떠한 쿼리 서버도 사용자 데이터를 볼 수 없습니다. 이 과정은 ONNX/WASM을 통해 텍스트를 384차원 벡터로 임베딩하고, LVQ8 센트로이드(centroid)를 라우팅하며, 필요한 행 그룹(row group)만 선택적으로 읽어 문서 ID를 통해 위키백과 내용을 조회하는 방식으로 이루어집니다.
이러한 접근 방식은 분산형 웹(Decentralized Web) 환경에서 검색 기능을 구현하는 데 있어 중요한 진전을 의미합니다. 서버 운영 및 유지보수 비용을 크게 줄일 수 있어 소규모 개발자나 스타트업에게 매력적이며, 사용자 데이터가 서버를 거치지 않으므로 데이터 유출 위험을 줄이고 개인 정보 보호 규제 준수에도 유리합니다. 또한, 기존의 중앙 집중식 검색 시스템의 단점을 보완하며, 사용자가 자신의 데이터를 직접 제어하고 관리하는 새로운 형태의 서비스 모델을 창출할 수 있는 잠재력을 가지고 있습니다. 이는 향후 온디바이스(on-device) AI 및 엣지 컴퓨팅(edge computing) 환경에서의 검색 기술 발전에도 기여할 것으로 기대됩니다.