수많은 웹 페이지를 오가며 정보를 수집하고 요약하는 작업은 많은 시간과 노력을 필요로 합니다. 최근 '포컬 하베스트(Focal Harvest)'라는 새로운 파이썬 기반 명령줄 인터페이스(CLI) 도구가 이러한 웹 리서치 및 OSINT(Open-Source Intelligence, 공개 출처 정보) 수집 과정을 자동화하여 개발자 커뮤니티의 관심을 받고 있습니다. 이 도구는 여러 브라우저 탭을 열고 수동으로 정보를 취합하는 대신, 단 한 번의 명령으로 검색 엔진 쿼리부터 웹 페이지 스크래핑, 그리고 최종 결과 요약까지 모든 과정을 처리해줍니다.
포컬 하베스트는 검색 엔진에 질의하고, 타겟 페이지를 병렬로 스크래핑하여 데이터를 정리한 뒤, 발견된 내용을 구조화된 마크다운(Markdown) 보고서로 요약해줍니다. 특히 구글 제미니(Gemini), 오픈AI(OpenAI), 클로드(Claude) 등 다양한 대규모 언어모델(LLM)을 지원하여 요약 품질을 높였으며, LLM 중 하나가 실패할 경우 다른 모델로 자동 전환되는 페일오버(failover) 기능도 갖췄습니다. 또한, 레딧(Reddit), 해커 뉴스(Hacker News), 깃허브(GitHub), 아카이브(arXiv) 등 17개 이상의 플랫폼에서 정보를 주기적으로 모니터링하고, 새로운 정보가 감지되면 디스코드(Discord)나 텔레그램(Telegram)으로 알림을 보내는 OSINT 수집 기능도 제공합니다. 모든 데이터는 사용자 파일 시스템에 로컬로 저장되어 보안과 프라이버시를 강화한 점도 특징입니다.
이 도구는 설치 용량이 5.2MB 미만, 콜드 스타트업(cold startup) 시간이 0.15초 미만, RAM 사용량이 85MB 미만으로 매우 가볍게 설계되었습니다. 웹 프론트엔드나 GPU, 로컬 AI 모델 다운로드, SQL 데이터베이스 없이 터미널 내에서만 작동하며, 모든 데이터는 일반 마크다운 및 JSON 파일로 저장됩니다. 이는 저사양 노트북에서도 원활하게 작동하며, 복잡한 설정 없이 빠르게 시작할 수 있도록 하여 정보 수집의 진입 장벽을 크게 낮춥니다. 포컬 하베스트는 연구자, 개발자, 기자 등 정보 수집이 필수적인 모든 사용자에게 효율적인 워크플로우를 제공하며, 정보 과부하 시대에 필수적인 도구가 될 잠재력을 가지고 있습니다.