AI 기술의 발전으로 웹사이트 제작 속도는 빨라졌지만, 검색 엔진 최적화(SEO)를 고려하지 않은 '대충 만든' 사이트들이 늘어나고 있습니다. 이러한 문제를 해결하기 위해 무료 오픈소스 SEO 감사 도구 '크롤리(Crawlie)'가 등장했습니다. 크롤리는 기존 유료 SEO 도구들이 제공하지 못했던 AI 에이전트 연동 기능을 갖추고 있으며, 일반적인 SEO 문제점뿐만 아니라 챗GPT(ChatGPT), 퍼플렉시티(Perplexity), 구글 AI 오버뷰(Google AI Overviews)와 같은 AI 검색 엔진에 잘 노출되도록 돕는 '생성 엔진 최적화(GEO: Generative Engine Optimization)' 기능까지 제공합니다.
크롤리는 로컬 환경에서 실행되는 것이 특징이며, 명령줄 인터페이스(CLI)와 데스크톱 앱 형태로 제공됩니다. 사용자들은 웹사이트의 깨진 링크, 리디렉션 오류, 누락된 메타데이터 등 40가지 이상의 SEO 및 GEO 관련 항목을 점검할 수 있습니다. 특히, 발견된 모든 문제에 대해 왜 중요한지, 그리고 어떻게 해결해야 하는지에 대한 명확한 영어 가이드를 함께 제공하여 초보자도 쉽게 활용할 수 있습니다. 크롤리는 또한 모델 컨텍스트 프로토콜(MCP: Model Context Protocol) 서버를 내장하고 있어, LLM(대규모 언어 모델) 에이전트가 직접 사이트 감사를 실행하고 개선 방안을 제안하는 등 자율적인 마케팅/SEO 워크플로우를 구축할 수 있게 합니다. 이는 기존 SEO 도구에서는 찾아보기 힘든 강력한 기능입니다.
크롤리의 등장은 AI 시대의 웹사이트 제작 및 마케팅 방식에 중요한 변화를 가져올 것으로 예상됩니다. AI로 빠르게 만들어진 콘텐츠의 품질을 검증하고, AI 검색 환경에 최적화하는 새로운 기준을 제시하기 때문입니다. 특히, 무료 오픈소스라는 점은 소규모 팀이나 1인 개발자, 스타트업에게 큰 이점으로 작용할 것입니다. 출시 전 품질 검증(QA), AI 에이전트를 활용한 자율적인 최적화, CI/CD 파이프라인에 통합하여 회귀를 방지하는 등 다양한 활용 사례를 통해 웹사이트의 검색 가시성을 높이고, 궁극적으로 더 많은 사용자에게 도달하는 데 기여할 수 있습니다.