AI 에이전트와 개발자를 위한 웹 데이터 API를 제공하는 파이어크롤(Firecrawl)이 새로운 웹 데이터 에이전트 '프로메테우스(Prometheus)'를 출시했습니다. 프로메테우스는 사용자가 원하는 웹 데이터를 자연어로 설명하면, 이를 바탕으로 파이어크롤 코드를 자동으로 생성하여 웹 데이터를 수집하고 관리해주는 '전방 배치 에이전트(Forward Deployed Agent)'입니다. 이는 웹 스크래핑 및 데이터 추출 과정을 간소화하여 AI 에이전트 개발 생산성을 높이는 데 초점을 맞추고 있습니다.
프로메테우스는 사용자가 직접 코드를 실행하거나, 파이어크롤이 호스팅 및 페이지 변경에 따른 자동 유지 관리를 제공하는 두 가지 방식으로 활용할 수 있습니다. 기존 파이어크롤 API가 웹 검색, 스크래핑, 상호작용 기능을 대규모로 제공했다면, 프로메테우스는 한 단계 더 나아가 AI가 직접 웹 데이터 수집 로직을 생성하도록 지원합니다. 이는 웹 데이터 추출의 복잡성을 줄이고, 개발자가 핵심 AI 로직에 집중할 수 있도록 돕는 솔루션으로 평가받고 있습니다.
이번 출시는 AI 에이전트가 실제 세계와 상호작용하는 데 필수적인 웹 데이터 접근성을 획기적으로 개선할 잠재력을 가집니다. 특히 웹사이트 구조 변화에 따라 스크래핑 코드를 지속적으로 업데이트해야 하는 번거로움을 AI가 대신 처리함으로써, 개발 및 유지보수 비용을 절감하고 데이터 신뢰성을 높일 수 있습니다. 이는 복잡한 웹 데이터 수집 과정 때문에 AI 에이전트 개발에 어려움을 겪었던 많은 개발자들에게 중요한 도구가 될 것으로 보입니다.