AI 에이전트가 웹상의 방대한 정보를 더욱 효과적으로 탐색하고 활용할 수 있도록 돕는 새로운 로컬 우선 웹 검색 및 수집 도구 '위골로(wigolo)'가 등장했습니다. 이 도구는 검색, 페이지 읽기, 크롤링, 데이터 추출, 캐싱, 유사 문서 검색, 리서치 기능 등을 하나의 통합 인터페이스(MCP)로 제공하여, AI 에이전트가 웹 데이터를 수집하고 분석하는 과정을 간소화합니다. 특히 API 키 없이 로컬에서 작동하며 요청 횟수에 따른 비용이 발생하지 않는다는 점이 큰 특징입니다.
위골로는 18개 검색 엔진의 결과를 통합 조회한 뒤 로컬 모델로 재정렬하며, 각 결과에 원문 발췌, 출처 위치, 인용 ID, 평가 점수 등 상세 정보를 제공합니다. 페이지 읽기 기능은 일반 HTTP 요청으로 시작해 SPA(단일 페이지 애플리케이션)나 봇 차단 화면이 감지되면 헤드리스 브라우저로 자동 전환하여 복잡한 웹 환경에서도 정보를 안정적으로 가져옵니다. PDF 처리, 로그인 세션 유지, 클릭/입력/스크롤 등 브라우저 동작도 수행할 수 있으며, 여러 페이지를 순회하는 크롤링과 테이블, 메타데이터, JSON-LD 등 다양한 스키마 기반의 데이터 추출도 지원합니다. 읽은 페이지는 로컬 캐시와 벡터 인덱스에 저장되어 변경 사항을 감지하고 웹훅으로 알릴 수 있습니다. 또한, 출처가 포함된 보고서를 생성하는 리서치 기능과 자율 수집을 수행하는 에이전트 기능은 LLM(대규모 언어 모델) 연결이 선택 사항이며, Ollama를 통해 완전한 로컬 구성도 가능합니다.
이러한 위골로의 등장은 AI 에이전트의 활용 범위를 넓히고 개발 비용을 절감하는 데 중요한 의미를 가집니다. 기존에는 웹 데이터를 수집하기 위해 복잡한 스크래핑 도구를 사용하거나 유료 API에 의존해야 했지만, 위골로는 이 과정을 로컬에서 무료로 처리할 수 있게 함으로써 개발자들이 더욱 자유롭게 AI 에이전트를 구축하고 실험할 수 있는 환경을 제공합니다. 특히 실패한 검색 엔진이나 차단된 페이지 등 결과 상태를 명확히 표시하여 투명성을 높인 점도 주목할 만합니다. Node.js 20 이상 환경에서 약 1.5GB의 디스크 공간이 필요하며, MCP, REST API, CLI, Docker, TypeScript/Python SDK 등 다양한 인터페이스를 지원하여 개발 편의성을 높였습니다. AGPL-3.0 라이선스로 공개되어 수정 버전을 네트워크 서비스로 운영할 경우 수정 소스를 공개해야 합니다.