새로운 웹 스크래퍼 도구인 Markdownee(마크다우니)가 출시되어 웹사이트 콘텐츠를 마크다운(Markdown), HTML, 또는 일반 텍스트 형식으로 추출할 수 있게 되었습니다. 이 도구는 특히 대규모 언어모델(LLM) 학습용 데이터셋 구축, 정보 검색 파이프라인, 그리고 연구 데이터 수집 등 다양한 목적으로 웹 콘텐츠를 깔끔하게 정리하는 데 초점을 맞추고 있습니다. 사용자는 추출할 링크를 선택하고, 페이지 및 깊이 제한을 설정하며, 테이블, 링크, 이미지, 사용자 댓글 등 페이지 콘텐츠의 특정 요소를 개별적으로 제어할 수 있습니다.
Markdownee의 핵심 기술은 'Trafilatura Core'라는 오픈소스 추출 엔진에 기반을 두고 있습니다. 이 엔진은 원본 Trafilatura 프로젝트를 TypeScript로 포팅한 것으로, 웹 페이지에서 본문 외의 불필요한 요소(보일러플레이트)를 제거하고 핵심 콘텐츠만 추출하는 데 특화되어 있습니다. Markdownee는 TypeScript와 Python 두 가지 언어 버전으로 제공되며, npm CLI, npm 라이브러리, Python 라이브러리 형태로 자체 호스팅하여 사용할 수 있습니다. 또한, Apify Actor를 통해 호스팅된 서비스로도 이용 가능하며, Playwright를 활용한 Crawlee가 크롤링 및 브라우저 렌더링을 담당합니다. 이미지 다운로드 모드를 통해 이미지 파일도 함께 저장할 수 있는 기능도 제공됩니다.
Markdownee의 출시는 웹에서 정제된 데이터를 얻고자 하는 개발자와 연구자들에게 중요한 의미를 가집니다. 특히 LLM 개발이 가속화되면서 고품질의 텍스트 데이터 확보가 중요해지고 있는데, Markdownee는 웹 콘텐츠를 구조화된 마크다운 형태로 쉽게 변환함으로써 이러한 수요를 충족시킬 수 있습니다. 또한, TypeScript와 Python이라는 대중적인 언어로 제공되어 접근성이 높고, 오픈소스 기반의 핵심 엔진은 투명성과 확장성을 보장합니다. 이는 웹 스크래핑 및 데이터 전처리 과정을 간소화하여 개발 효율성을 크게 향상시킬 것으로 기대됩니다.