로컬 AI 에이전트가 웹 정보를 효율적으로 탐색하고 활용할 수 있도록 돕는 새로운 오픈소스 도구 'TinySearch'가 공개되었습니다. 이 프로젝트는 웹 검색, 결과 재순위화(reranking), 관련 페이지 크롤링, 그리고 가장 중요한 정보 조각(chunk) 추출 과정을 거쳐, 대규모 언어모델(LLM)이 신뢰할 수 있는 답변을 생성할 수 있도록 출처가 명확한 프롬프트를 제공하는 것을 목표로 합니다. 복잡한 대시보드나 계정 시스템 없이 핵심 기능에 집중하여 로컬 환경에서의 활용성을 극대화한 것이 특징입니다.
TinySearch는 Cursor, Cline, Roo Code, Claude Desktop 등 다양한 MCP(Model-Client Protocol) 클라이언트와 연동하여 웹 검색 기능을 추가할 수 있습니다. 기본적으로 SearXNG를 사용하며, DuckDuckGo HTML 폴백(fallback) 옵션도 제공합니다. 특히, 전체 웹페이지를 LLM의 컨텍스트에 통째로 넣는 대신, 온디바이스 ONNX 임베딩(embedding)을 활용하거나 OpenAI 호환 임베딩 API를 연동하여 가장 관련성 높은 정보 조각만 추출함으로써 토큰 효율성을 높입니다. 이 모든 과정은 도커(Docker)를 통해 로컬 환경에서 간편하게 실행할 수 있도록 설계되어, 개인 워크플로우나 소규모 시스템에 적합합니다.
이 도구는 AI 에이전트가 단순히 웹을 검색하는 것을 넘어, 검색된 정보의 신뢰성을 확보하고 이를 바탕으로 정확한 답변을 생성하는 데 중요한 역할을 합니다. 특히, 출처(source)를 명확히 제시하는 '근거 있는 프롬프트(source-grounded prompt)'를 제공함으로써, AI 모델의 할루시네이션(hallucination)을 줄이고 사용자에게 더욱 신뢰할 수 있는 정보를 전달할 수 있게 합니다. 이는 로컬 AI 에이전트의 활용 범위를 넓히고, 개발자들이 웹 정보를 기반으로 하는 다양한 AI 애플리케이션을 더 쉽게 구축할 수 있는 기반을 마련해 줄 것으로 기대됩니다.