새로운 파이썬 라이브러리인 허브메시(Hubmesh)가 복잡한 멀티홉 RAG(검색 증강 생성) 검색 문제를 해결하며 주목받고 있습니다. 기존 벡터 데이터베이스(Vector DB) 인프라를 교체할 필요 없이, 벡터 DB와 LLM(대규모 언어모델) 사이에 스마트한 플래너(Planner) 역할을 함으로써 멀티홉 질문에 대한 검색 품질을 크게 향상시킵니다. 특히, 쿼리 경로에서 LLM 호출을 전혀 사용하지 않아 속도와 효율성을 높인 것이 특징입니다.
허브메시의 핵심은 두 가지 기여에 있습니다. 첫째, '다중 구성 요소 시드 선택(Multi-component seed selection)'입니다. 기존의 단순 유사성 기반 시드 선택 방식은 복잡한 질문에서 잘못된 커뮤니티의 정보를 가져올 수 있지만, 허브메시는 쿼리 관련성, 구조적 적합성, 커버리지 다양성을 결합한 다중 구성 요소 점수를 통해 더 정확한 시드를 선택합니다. 둘째, '예산 인식 컨텍스트 패킹(Budget-aware context packing)'입니다. 관련성 높은 엔티티(entity)들이 식별되면, 단순히 상위 K개를 자르는 대신 명시적인 커버리지와 중복 제어를 통해 LLM의 컨텍스트 창에 효율적으로 정보를 채워 넣습니다. 이는 슬랙(Slack)을 인수한 회사의 창업자가 어디에서 태어났는지와 같은 복잡한 질문에 대한 추론 경로를 따라 정확한 정보를 찾아내는 데 필수적입니다. 허브메시는 인메모리, Qdrant, Chroma 등 다양한 벡터 데이터베이스 어댑터를 지원하며, spaCy나 LLM을 활용한 엔티티 지식 그래프(Knowledge Graph, KG) 구축 기능도 제공합니다.
이러한 접근 방식은 에이전트(Agent) 기반 시스템에서 특히 중요한 의미를 가집니다. 에이전트가 질문을 분해하고 각 단계를 읽은 다음 다음 목표를 설정하는 반복적인 멀티홉 검색 시나리오에서, 허브메시는 밀리초 단위로 응답하며 LLM 호출 없이 결정론적인 검색 결과를 제공합니다. 이는 엄격한 시간 제한이 있는 커넥터 클라이언트나 실시간 응답이 중요한 애플리케이션에 매우 유용합니다. 허브메시는 검색의 정확성을 높이면서도 비용과 지연 시간을 줄여, LLM 기반 애플리케이션의 성능과 효율성을 한 단계 끌어올릴 잠재력을 가지고 있습니다.