yozm.tech
피드로 돌아가기
Hacker News (Top)HOTAI 재작성

구글, 검색 결과 링크 변경으로 스크래핑 차단 강화

구글이 검색 결과(SERP) 링크 형식을 'google.com/goto?url=...' 방식으로 변경하며 스크래핑 방어에 나섰습니다. 이는 AI 크롤러와 SEO 스크래퍼가 대규모로 검색 결과를 수집하는 것을 어렵게 만들어, 검색 엔진 데이터 무단 활용을 막으려는 전략으로 풀이됩니다. 특히 로그아웃 또는 시크릿 모드 사용자에게 일관되게 적용되고 있어, 검색 데이터 접근 방식에 큰 변화를 예고합니다.

10시간 전·2026.09.12·읽기 2·1e1a

구글이 검색 결과 페이지(SERP)의 유기적 링크 형식을 직접적인 대상 URL 대신 'google.com/goto?url=...' 형태로 변경했습니다. 이는 사용자가 검색 결과를 클릭하면 구글이 실제 페이지로 리디렉션하는 방식인데, 'url' 매개변수가 구글 고유의 인코딩을 사용해 오프라인에서 대상 URL을 쉽게 해독할 수 없도록 설계되었습니다. 이 변화는 2026년 8월 말부터 로그아웃 상태 또는 시크릿 모드에서 검색할 때 일관되게 나타나고 있으며, 구글이 자동화된 검색 결과 수집을 막기 위한 광범위한 노력의 일환으로 분석됩니다.

과거 구글은 'google.com/url?q=[URL-encoded destination]'와 같이 대상 URL이 쿼리 스트링에 노출되는 리디렉션 방식을 사용했습니다. 하지만 새로운 'goto' 형식은 링크 자체를 '/goto'로 표시하고, 실제 URL은 리디렉션 시 HTTP 응답 헤더의 'Location' 필드에 숨겨져 있습니다. 이는 수천 개의 URL을 HTML에서 직접 파싱하던 스크래퍼들이 이제 각 결과마다 구글 서버에 요청을 보내야만 실제 목적지 URL을 알 수 있게 함으로써, 데이터 수집 과정을 훨씬 느리고 복잡하게 만듭니다. 구글은 이와 같은 연속적인 요청을 통해 자동화된 스크래핑 시도를 명확히 감지할 수 있습니다.

이러한 변화는 AI 크롤러나 SEO 스크래퍼처럼 대규모로 검색 결과 데이터를 수집하여 자체 인덱스를 구축하려는 시도를 효과적으로 방어하기 위한 구글의 전략입니다. 이미 구글은 검색 결과 표시 개수를 제한하는 '&num=100' 매개변수를 제거하고, 봇가드(BotGuard)/서치 가드(SearchGuard)를 강화하는 등 자동화된 SERP 수집 비용을 꾸준히 높여왔습니다. 이번 'goto' 링크 도입은 이러한 흐름의 연장선상에서, 무단 데이터 수집을 더욱 어렵게 만들어 구글 검색 생태계의 통제력을 강화하려는 의도로 해석됩니다. 이는 검색 데이터에 의존하는 다양한 서비스와 산업에 상당한 영향을 미칠 것으로 예상됩니다.

1인 창업자를 위한 기회 분석
AI 분석 · 참고용이며 검증이 필요합니다
4/10
보통
4점인가

구글의 지속적인 스크래핑 방어는 기술적 난이도를 높여 1인 창업자가 안정적으로 서비스를 제공하기 어렵게 만듭니다. 또한, 이미 이 문제를 해결하는 다수의 SERP API 서비스가 존재합니다.

문제 / 미충족 수요

구글의 검색 결과 스크래핑 방지 강화로 인해 합법적인 목적으로 검색 데이터를 활용하려는 기업이나 개발자들의 데이터 수집이 어려워지고 있습니다.

한국 시장
국내 있음한국에서도 구글 검색 결과에 의존하는 마케팅, SEO, 시장 분석 도구들이 존재하며, 이들도 유사한 어려움을 겪을 수 있습니다.
수익 모델

B2B SaaS 구독, API 종량제 · 돈 내는 주체: SEO 대행사, 마케팅 회사, 시장 분석가, 데이터 과학자

1인 실현 가능성
3/5

구글의 지속적인 방어 업데이트에 대응하는 기술적 역량이 필요하며, 이는 1인이 지속적으로 감당하기 어려울 수 있습니다.

진입 지점 (Wedge)

특정 산업(예: 부동산, 쇼핑몰)에 특화된 구글 검색 결과 모니터링 및 분석 솔루션 제공

이번 주 첫 실험

구글 검색 결과 스크래핑이 필요한 잠재 고객 10곳을 인터뷰하여 구체적인 니즈와 현재 겪는 어려움을 파악합니다.

Original source
이 글은 Hacker News (Top)의 기사를 yozm.tech가 한국어로 재작성한 버전입니다.
원문 보기