최근 '헌츠맨(Huntsman)'이라는 자체 호스팅(self-hosted) 웹 스크래퍼가 개발자 커뮤니티에 공개되어 주목받고 있습니다. 이 도구는 웹페이지를 광고, 추적기, 쿠키 배너 등을 제거한 깨끗한 마크다운(Markdown) 형식으로 변환하는 데 특화되어 있으며, 특히 대규모 언어모델(LLM)의 학습 데이터 수집이나 효율적인 검색 시스템 구축에 유용할 것으로 기대됩니다.
헌츠맨은 Go 언어로 개발되었으며, 자바스크립트(JavaScript) 렌더링을 위해 라이트판다(Lightpanda)를 사용합니다. 단일 바이너리와 컨테이너로 실행되어 Redis나 Playwright, Chrome 같은 추가 의존성 없이 가볍게 운영할 수 있는 것이 특징입니다. 벤치마크 결과에 따르면, 동일한 8-vCPU 환경에서 기존 파이어크롤(Firecrawl) 대비 초당 4배 더 많은 페이지를 스크래핑할 수 있으며, 2-vCPU 머신에서도 동시에 45개 페이지를 처리하는 등 뛰어난 성능을 보여줍니다. 또한 파이어크롤의 API 규격을 따르기 때문에 기존 파이어크롤 사용자는 최소한의 변경으로 헌츠맨으로 전환할 수 있습니다.
이러한 헌츠맨의 등장은 웹 데이터 수집 방식에 새로운 효율성을 제시합니다. 특히 LLM 개발자나 검색 엔진 구축자들에게는 고품질의 정제된 데이터를 빠르고 경제적으로 확보할 수 있는 강력한 도구가 될 것입니다. 광고나 불필요한 요소가 제거된 마크다운 형식은 데이터 전처리 과정을 크게 줄여주고, 경량화된 아키텍처는 운영 비용 절감에도 기여할 수 있습니다. 자체 호스팅이 가능하므로 데이터 주권과 보안을 중시하는 기업이나 개인에게도 매력적인 선택지가 될 것으로 보입니다.