프록시를 사용하는 웹 스크래핑이나 자동화 작업에서 요청이 실패했을 때, 그 원인을 정확히 파악하기란 쉽지 않습니다. 프록시 자체의 문제인지, 사용하는 브라우저의 설정 때문인지, 아니면 심지어 실행하는 컴퓨터의 환경 때문인지 알기 어려웠습니다. 이러한 난제를 해결하기 위해 노드메이븐(NodeMaven)이 오픈소스 도구 '프록시-벤치마크(proxy-benchmark)'를 공개했습니다. 이 도구는 요청 실패의 진짜 원인을 체계적으로 분석하고 측정하여 개발자들이 불필요한 시행착오를 줄일 수 있도록 돕습니다.
프록시-벤치마크는 다양한 변수들을 통제하며 요청을 실행합니다. 일반 HTTP 클라이언트부터 크로미움(Chromium) 기반 브라우저, 안티-디텍트(anti-detect) 프레임워크까지 여러 엔진을 사용하고, 게이트웨이, 국가별 프록시 경로, 직접 연결(no proxy) 등 다양한 프록시 경로를 테스트합니다. 또한, 리소스 차단, 타임존(timezone) 및 로케일(locale) 정렬 같은 브라우저 설정과 심지어 다른 호스트 머신에서의 실행까지 비교하여 어떤 변수가 결과에 영향을 미치는지 정량적으로 보여줍니다. 모든 테스트 결과는 JSONL 형태로 기록되어 투명하게 검증할 수 있으며, 사용자는 자신의 프록시를 연결하여 테스트할 수 있습니다.
이 도구의 핵심은 '어떤 변수가 바뀌었을 때 결과가 달라지는가'를 명확히 보여주는 것입니다. 예를 들어, 아마존(Amazon) 대상 테스트에서 순정 브라우저가 안티-디텍트 엔진보다 높은 성공률을 보였고, 동일한 코드와 프록시, 대상임에도 불구하고 윈도우(Windows) 워크스테이션에서는 39% 성공률을 보인 반면 리눅스(Linux) VPS에서는 0% 성공률을 기록하는 등 호스트 머신이 중요한 변수임을 입증했습니다. 또한, 크롬(Chrome)이 아무것도 하지 않는 유휴 상태에서도 약 43MB의 데이터를 구글(Google)과 주고받는다는 사실을 밝혀내, 종량제 프록시 사용자에게는 불필요한 비용이 발생할 수 있음을 시사했습니다. 이처럼 프록시-벤치마크는 막연한 추측 대신 데이터 기반의 분석을 가능하게 하여, 웹 스크래핑 및 자동화 분야의 효율성을 크게 높일 잠재력을 가지고 있습니다.