최근 'hRAG(하이브리드 RAG)'라는 새로운 검색 증강 생성(RAG) 솔루션이 월 116유로(약 17만원)라는 놀랍도록 저렴한 비용으로 엔터프라이즈급 성능을 제공한다고 발표하며 IT 업계의 주목을 받고 있습니다. 이 솔루션은 헤츠너(Hetzner)의 5노드 쿠버네티스(Kubernetes) 클러스터 위에서 구동되며, 512,000개 문서 벤치마크에서 88ms의 BM25 검색 속도를 달성하는 등 인상적인 결과를 보여주었습니다.
hRAG는 PostgreSQL 데이터베이스 내에서 BM25와 벡터 검색을 결합하는 하이브리드 접근 방식을 사용합니다. 별도의 검색 클러스터 없이 PostgreSQL의 `pg_textsearch` 기능을 활용하여 효율적인 IDF(역문서 빈도) 랭킹을 구현하며, 2백만 개의 청크(chunk)에서 88ms의 빠른 검색 속도를 자랑합니다. 또한, 벡터와 렉시컬(lexical) 검색 결과를 0.3의 벡터 가중치로 융합하는 독자적인 방식을 통해 최적의 검색 품질을 확보했습니다. 선택적으로 크로스-인코더(cross-encoder) 리랭커(reranker)를 제공하여 정확도를 더욱 높일 수 있지만, 이는 약간의 지연 시간을 추가할 수 있습니다.
이 솔루션은 엔터프라이즈RAG-벤치(EnterpriseRAG-Bench)에서 전체 44.74점(정확도 52.6, 완전성 54.38, 문서 회수율 69.65)으로 9위를 기록했으며, 이는 버텍스 AI 서치(Vertex AI Search)와 엔비디아(NVIDIA)를 앞서고 애저(Azure) 바로 다음 순위입니다. 특히 문서 회수율(document recall)에서는 애저(64.25)와 버텍스(61.76)를 능가하는 성능을 보여, 클라우드 기반의 대규모 관리형 서비스와 직접 경쟁할 수 있음을 입증했습니다. hRAG는 빈 검색 결과에 대해 모델 호출 없이 응답을 거부하는 '거절(refusal)' 기능을 통해 환각(hallucination) 현상을 방지하며, 로우-레벨 보안(row-level security)으로 테넌트(tenant)별 데이터 격리도 완벽하게 지원합니다. 이 모든 것이 월 116유로라는 파격적인 비용으로 가능하다는 점은 RAG 시스템 구축에 대한 접근성을 획기적으로 낮추는 중요한 의미를 가집니다.