구글 검색 결과 페이지(SERP)의 링크 구조가 조용히 바뀌고 있다. 지금까지 유기적(organic) 검색 결과의 링크는 목적지 URL이 HTML 안에 그대로 노출되는 형태였지만, 최근 구글은 이를 google.com/goto?url=... 형식의 리디렉션 주소로 다시 쓰기 시작했다. 사용자가 결과를 클릭하면 구글이 이 중간 주소를 거쳐 실제 페이지로 넘겨준다. 2026년 8월 말 기준으로 이 변화는 로그아웃 상태이거나 시크릿(비공개) 모드로 검색할 때 일관되게 나타나고 있으며, 더 이상 일부 검색어에만 국한된 소규모 실험으로 보기 어려운 수준이 됐다.
핵심은 url 파라미터의 인코딩 방식이다. 이 값은 목적지 URL을 단순히 URL 인코딩하거나 base64로 변환한 것이 아니라, 구글 고유의 방식으로 인코딩돼 있다. 실제로는 해당 페이지에 대한 구글 색인 레코드를 가리키는 불투명한(opaque) 참조처럼 보인다. 즉 주소 문자열만 봐서는 목적지가 어디인지 알 수 없고, 구글에 다시 요청을 보내 리디렉션 응답(Location 헤더)을 읽어야만 실제 목적지를 확인할 수 있다.
예전 방식과 무엇이 다른가
구글이 리디렉션 래퍼를 쓰는 것 자체는 새로운 일이 아니다. 기존에도 google.com/url?q=[URL 인코딩된 목적지] 형식이 존재했는데, 이 경우에는 목적지 링크가 쿼리 문자열에 그대로 읽히는 형태였다. 반면 goto 방식은 목적지를 쿼리에서 직접 읽어낼 수 없다는 점에서 결이 다르다. 다만 구글은 여전히 검색 결과 화면을 그리기 위해 도메인, 파비콘, 출처 표기 등에 목적지 정보를 써야 하므로, URL의 사본 자체는 페이지 어딘가에 남아 있다. 이는 Location 헤더를 읽는 문제와는 별개의 사안이다.
이 변화가 중요한 이유는 대규모로 SERP 데이터를 긁어 자체 색인을 만드는 쪽에 직접적인 타격을 주기 때문이다. 평문 링크 시절에는 스크래퍼가 구글에 다시 접속하지 않고도 HTML 한 번 파싱으로 수천 개의 URL을 뽑아낼 수 있었다. 하지만 goto 방식에서는 결과 하나하나의 목적지를 알아내기 위해 구글에 개별 요청을 되돌려 보내야 한다. 페이지까지 따라 들어갈 필요는 없고 Location 헤더만 읽으면 되지만, 그 과정 자체가 느리고 트래픽이 많아지며, 같은 클라이언트가 수백 개의 링크를 연속으로 해석하는 순간 구글에 뚜렷한 신호를 남긴다.
AI 크롤러와 SEO 스크래퍼를 겨냥한 흐름
이 조치는 자동화된 SERP 수집, 특히 결과 URL을 대량으로 추출해 자체 색인을 구축하는 AI 크롤러와 SEO 스크래퍼를 겨냥한 구글의 큰 흐름과 맞닿아 있다. 앞서 구글은 한 번에 100개 결과를 불러오던 &num=100 파라미터를 없앴고, BotGuard·SearchGuard 같은 봇 차단 장치를 강화해 왔다. goto 리디렉션은 여기에 더해 순진한 방식의 스크래핑 비용을 단계적으로 끌어올리는 또 하나의 수단인 셈이다. 목적지를 읽는 데 추가 왕복 요청이 필요해지면, 수집 속도는 떨어지고 탐지 가능성은 올라간다.
데이터 수집 API를 제공하는 Autom은 이 변화에 대응해 파이프라인을 업데이트했다고 밝혔다. 처음 goto 링크가 일부 SERP에서만 관측됐을 때는 나머지 대다수 응답을 깨뜨리지 않으면서 안정적인 수정을 적용하기가 어려웠으나, 8월 말 들어 로그아웃·비공개 세션에서 패턴이 훨씬 일관되게 나타나면서 대응이 가능해졌다는 설명이다. Autom은 goto 링크의 Location 헤더를 읽되 페이지까지 따라가지는 않는 방식으로 최종 목적지 URL을 해석하고, 이를 고객이 기존에 쓰던 것과 동일한 구조화 필드에 담아 반환한다. 따라서 Autom의 구글 검색 엔드포인트를 호출하는 쪽은 통합 코드를 바꾸지 않고도 쓸 만한 목적지 URL을 계속 받을 수 있다는 것이다.
실무자가 읽어야 할 지점
한국의 IT 실무자 관점에서 이 소식은 두 가지를 시사한다. 첫째, 검색 결과 HTML을 단순 파싱해 링크를 뽑아 쓰던 내부 도구나 모니터링 스크립트는 로그아웃·시크릿 조건에서 더 이상 동작하지 않을 가능성이 크다. 목적지를 얻으려면 리디렉션을 해석하는 추가 단계가 필요하고, 그만큼 요청량과 차단 위험이 커진다. 둘째, 이 인코딩이 구글 내부 색인 레코드에 의존하는 불투명한 형식인 만큼, 구글이 언제든 다시 포맷을 바꿀 수 있다는 점을 염두에 둬야 한다. Autom 역시 형식이 또 바뀌면 조정하겠다고 밝혔을 뿐, 영구적인 해법을 보장하지는 않는다.
결국 이번 변화는 검색 데이터를 자동으로 활용하려는 모든 시도에 "구글을 한 번 더 거쳐야 한다"는 마찰을 의도적으로 심은 것으로 읽힌다. 다만 지금 공개된 정보만으로는 이 방식이 정식 적용인지, 여전히 실험 단계인지, 로그인 세션으로까지 확대될지는 단정하기 어렵다. 검색 수집에 의존하는 서비스라면 자체 수집 로직의 취약점을 점검하고, 리디렉션 해석 비용과 차단 리스크를 전제로 대안을 준비해 두는 편이 현실적이다.