VectifyAI가 대규모 언어모델(LLM) 기반 검색 증강 생성(RAG)의 새로운 접근 방식인 '페이지인덱스(PageIndex)'를 공개했습니다. 이 기술은 기존 RAG 시스템의 핵심 요소였던 벡터 데이터베이스(Vector DB)와 문서 청킹(Chunking) 과정 없이 LLM의 추론(reasoning) 능력을 활용해 문서를 이해하고 필요한 정보를 검색합니다. 이는 '의미론적 유사성(semantic similarity)'에만 의존하는 벡터 RAG가 복잡한 문서에서 겪는 '유사하지만 관련 없는' 정보 검색 문제를 해결하며, 인간이 문서를 읽고 이해하는 방식에 더 가깝게 작동합니다.
페이지인덱스는 문서를 계층적 트리 인덱스(hierarchical tree index)로 구조화한 뒤, LLM이 이 트리를 탐색하며 추론 기반으로 정보를 검색하는 2단계 과정을 거칩니다. 기존 벡터 RAG가 쿼리 임베딩(query embedding)만을 사용하는 것과 달리, 페이지인덱스는 대화 기록, 도메인 지식 등 전체 문맥을 고려하여 검색의 정확도를 높입니다. 특히 금융 보고서, 법률 문서, 기술 매뉴얼 등 복잡하고 긴 전문 문서에 최적화되어 있으며, 파인낸스벤치(FinanceBench) 벤치마크에서 98.7%의 정확도를 기록하며 기존 벡터 기반 RAG를 크게 능가하는 성능을 보였습니다. 문서 색인(indexing) 비용은 페이지당 약 0.001달러로 저렴하며, 쿼리(query) 시에는 필요한 노드만 읽어 전체 문서를 LLM 컨텍스트에 넣는 것보다 훨씬 효율적입니다.
이러한 추론 기반 RAG는 LLM이 단순히 유사한 단어를 찾는 것을 넘어, 문서의 구조와 맥락을 깊이 이해하고 질문에 대한 가장 관련성 높은 정보를 찾아내는 패러다임의 변화를 의미합니다. 이는 특히 기업의 방대한 내부 문서나 전문 지식이 필요한 분야에서 정보 검색의 신뢰성과 효율성을 혁신할 잠재력을 가집니다. 개발자들은 페이지인덱스 SDK를 통해 로컬 환경에서 자체 LLM 키로 사용하거나, 페이지인덱스 클라우드를 통해 OCR, 이미지 이해 등 고급 기능을 활용할 수 있어 다양한 활용 가능성을 제공합니다. 결과적으로, 이 기술은 LLM이 실제 세계의 복잡한 정보를 더욱 정확하고 효율적으로 처리할 수 있도록 돕는 중요한 진전으로 평가됩니다.