새로운 웹 스크래핑 엔진 'Fitter'가 깃허브(GitHub)를 통해 공개되며 주목받고 있습니다. 이 도구의 핵심은 대규모 언어모델(LLM)이 직접 스크래핑 설정(config)을 작성한다는 점입니다. 기존에는 웹 데이터를 수집하려면 복잡한 코드를 작성해야 했지만, Fitter는 LLM이 JSON이나 YAML 형식의 설정 파일을 생성하여 웹사이트나 API에서 원하는 데이터를 구조화된 JSON 형태로 추출할 수 있도록 돕습니다.
Fitter는 HTTP 요청, 헤드리스 브라우저(Playwright/Chromium/Docker), 파일 등 다양한 방식으로 데이터를 가져올 수 있으며, JSON 경로, CSS 선택자, XPath 등을 활용해 데이터를 추출합니다. 특히, 앤스로픽(Anthropic)의 클로드 코드(Claude Code)나 클로드 데스크톱(Claude Desktop)과 같은 MCP(Model-Controller-Presenter) 클라이언트를 통해 자연어 명령으로 스크래핑 파이프라인을 구축하고 실행할 수 있습니다. 예를 들어, “해커뉴스(HackerNews) 상위 5개 기사의 제목과 점수를 가져와줘”라고 명령하면, LLM이 Fitter 설정을 만들고, 이를 검증한 뒤 로컬에서 실행하여 깔끔한 JSON 결과를 반환하는 식입니다. Fitter는 CLI, 라이브러리, 장기 실행 서비스 등 다양한 형태로 활용 가능하며, 모든 데이터 추출 작업이 사용자 로컬 머신에서 이루어져 보안 및 비용 효율성 측면에서도 장점을 가집니다.
이러한 접근 방식은 웹 데이터 수집의 패러다임을 바꿀 잠재력을 가지고 있습니다. 코딩 지식이 없는 사용자도 자연어만으로 복잡한 스크래핑 작업을 수행할 수 있게 되어, 데이터 기반 의사결정이나 자동화 워크플로우 구축이 훨씬 쉬워질 것입니다. 또한, LLM이 생성한 설정 파일은 사람이 읽고 감사할 수 있어 투명성을 높이고, 재사용이 가능하여 한 번 만든 설정을 반복적으로 활용하거나 자동화된 작업에 통합하기 용이합니다. 이는 AI 에이전트가 단순히 코드를 생성하는 것을 넘어, 실제 데이터를 수집하고 처리하는 데 필요한 도구를 스스로 구성하고 실행하는 새로운 가능성을 제시하며, 데이터 활용의 민주화를 가속화할 것으로 기대됩니다.