AI 에이전트 개발자들이 웹 데이터를 손쉽게 활용할 수 있도록 돕는 새로운 서비스 '웹스트랙터(Webstractor)'가 등장했습니다. 웹스트랙터는 웹 페이지, 뉴스, 이미지, 비디오, 장소 등 다양한 공개 웹 정보를 AI 에이전트가 바로 사용할 수 있는 깨끗한 마크다운(Markdown) 또는 구조화된 JSON 형식으로 추출해주는 API를 제공합니다. 복잡한 웹 스크래핑(web scraping) 과정 없이 단일 API 호출로 필요한 데이터를 얻을 수 있다는 점이 특징입니다.
웹스트랙터는 캐시 우선(cache-first) GET API를 통해 빠른 응답을 보장하며, 30일간 추출 데이터를 캐시하여 동일 요청 시 비용을 부과하지 않습니다. 아마존, 구글 뉴스, 인스타그램, 레딧, 유튜브 등 다양한 플랫폼의 데이터를 지원하며, 특정 URL의 콘텐츠를 추출하거나 웹사이트 스크린샷을 캡처하는 기능도 제공합니다. 특히, AI 에이전트가 웹 검색 및 추출을 수행할 수 있도록 설계된 호스팅된 MCP(Multi-Agent Communication Protocol) 서버도 함께 제공하여 에이전트 개발 편의성을 높였습니다. 요금 모델은 사용한 만큼만 지불하는 종량제(Pay-as-You-Go) 방식으로, 1,000 크레딧당 0.49달러이며, 캐시 히트(cache hit)는 무료입니다.
이러한 웹스트랙터의 등장은 AI 에이전트 개발의 진입 장벽을 낮추고 효율성을 크게 향상시킬 수 있다는 점에서 의미가 큽니다. 기존에는 AI 에이전트가 웹 정보를 활용하려면 각 웹사이트의 구조를 이해하고 직접 스크래핑 로직을 구현해야 하는 번거로움이 있었습니다. 하지만 웹스트랙터를 이용하면 개발자들이 데이터 수집보다는 AI 모델 자체의 개발과 비즈니스 로직 구현에 집중할 수 있게 됩니다. 이는 AI 에이전트 기반 서비스의 확산을 가속화하고, 더 다양한 혁신적인 AI 애플리케이션의 등장을 촉진할 것으로 기대됩니다.