아마존(Amazon) 웹사이트의 방대한 공개 데이터를 API 키 없이 명령줄 인터페이스(CLI)로 손쉽게 추출하고 분석할 수 있는 새로운 도구 'Amz-CLI'가 등장했습니다. 이 도구는 아마존닷컴(amazon.com)의 모든 공개 페이지(제품, 검색, 리뷰, Q&A, 판매자, 딜 등)를 읽어 깨끗하고 파이프라인 처리가 가능한 레코드 형태로 변환해줍니다. 순수 고(Go) 언어로 개발된 단일 바이너리 파일로 제공되며, 별도의 아마존 API 키나 인증 절차가 필요 없어 접근성이 매우 높습니다.
Amz-CLI는 단순히 데이터를 긁어오는 것을 넘어, 각 웹페이지의 정보를 명명된 필드를 가진 정규화된 레코드로 변환합니다. 모든 요청은 속도 조절(pacing)되며, 일시적인 오류 발생 시 재시도하고, 디스크에 캐시되어 효율성을 높였습니다. 또한, 아마존의 로봇 배제 표준(robots.txt)을 준수하며, 봇 체크 페이지가 감지되면 올바르지 않은 데이터를 반환하는 대신 명확한 종료 코드를 제공하여 데이터의 신뢰성을 확보합니다. 주요 기능으로는 특정 상품의 상세 정보(ASIN), 가격, 관련 상품, 검색 결과, 리뷰, Q&A, 베스트셀러(bestsellers) 차트, 카테고리 정보 등을 조회할 수 있으며, 수집된 데이터를 로컬 스토어에 저장하고 SQL 쿼리나 전체 텍스트 검색으로 분석하는 기능까지 제공합니다.
이 도구는 아마존 생태계에서 활동하는 개인 개발자, 소규모 판매자(seller), 시장 분석가들에게 매우 유용할 것으로 예상됩니다. 복잡한 API 연동 없이도 경쟁사 제품 분석, 시장 트렌드 파악, 가격 모니터링, 리뷰 분석 등 다양한 데이터 기반 의사결정을 지원할 수 있습니다. 특히 1인 창업자나 인디 개발자들은 이 도구를 활용하여 아마존 데이터를 기반으로 한 새로운 서비스나 분석 솔루션을 빠르고 저렴하게 구축할 수 있는 기회를 얻을 수 있습니다. 아마존에 의존하는 비즈니스 모델을 가진 이들에게 데이터 접근의 장벽을 낮춰주는 중요한 역할을 할 것입니다.