SEO를 위한 Google 크롤링 예산, 추측은 그만! (실제 정보는 여기)

게시 됨: 2021-07-13

웹사이트의 페이지를 빠르게 색인화하려면 SEO에 대한 크롤링 예산의 의미를 이해해야 합니다.

그것은 실제로 크고 작은 모든 사이트에 영향을 미칩니다. 그러나 종종 대규모 사이트, 기술적으로 오류가 있는 사이트 또는 고유한 URL 생성 기능이 있는 사이트는 여기서 주의를 기울여야 합니다.

하지만 기다려!

나는 나 자신보다 앞서 가고 있다. 조금 천천히 시작해 봅시다.

SEO를 위한 크롤링 예산에 대해 알아야 할 모든 것

SEO를 위한 크롤링 예산에 대해 알아야 할 모든 것

크롤링 예산의 개념은 한때 SEO 사이에서 약간의 추측 게임이었습니다. 그러나 Google의 Gary Illyes의 최근 게시물 덕분에 우리는 이제 훨씬 더 많은 정보를 얻었습니다.

이 문서에서는 크롤링 예산에 대해 알아야 할 모든 것을 다루고 몇 가지 최적화 팁을 제공합니다.

크롤링 예산이란 무엇입니까?

SEO에 대한 크롤링 예산의 개념을 이해하기 전에 먼저 다른 용어인 Googlebot에 익숙해져야 합니다.

Googlebot은 색인에 추가할 페이지를 찾기 위해 사이트를 크롤링하는 자동화 에이전트에 부여된 이름입니다. 디지털 웹서퍼라고 생각하시면 됩니다.

웹에는 수십억 개의 페이지가 있으므로 Googlebot이 매일 초 단위로 페이지를 크롤링하는 것은 비현실적입니다. 그렇게 하면 온라인에서 귀중한 대역폭이 소모되어 웹 사이트의 성능이 저하됩니다.

따라서 Google은 각 웹사이트에 크롤링 예산을 할당합니다. 이 예산은 Googlebot이 색인을 생성할 페이지를 찾는 사이트를 크롤링하는 빈도를 결정합니다.

Google은 크롤링 예산의 임무를 다음과 같이 정의합니다. "웹사이트를 호스팅하는 서버가 크롤링에 할당할 수 있는 크롤링 대상, 시기 및 리소스의 우선순위를 지정하는 것은 더 큰 웹사이트 또는 URL 매개변수를 기반으로 페이지를 자동 생성하는 웹사이트에서 더 중요합니다. , 예를 들어.”

크롤링 예산 최적화가 SEO에 중요한 이유는 무엇입니까?

이에 대한 답은 기본적이고 간단합니다. 크롤링 예산이 최적화되어 페이지의 색인을 생성할수록 Google에서 순위가 ​​높아집니다.

대형 사이트, 특히 전자 상거래가 있거나 많은 페이지를 추가했거나 많은 리디렉션된 페이지가 있는 경우 이를 처리할 크롤링 예산 용량이 있는지 확인하는 것이 중요합니다.

그러나 Google은 색인이 생성된 페이지를 효율적으로 크롤링하므로 크게 걱정할 필요는 없지만 확실히 알아야 할 사항입니다.

크롤링 속도 제한

크롤링 속도 제한은 크롤링 예산과 약간 다릅니다. Googlebot이 사이트를 크롤링하는 데 사용하는 동시 연결 수와 다른 페이지를 가져오기 전에 대기하는 시간을 정의합니다.

Google은 사용자 경험에 관한 것임을 기억하십시오. 봇이 크롤링 속도 제한을 사용하는 이유는 사용자가 브라우저에서 사이트를 로드하는 데 문제가 있을 정도로 자동화 에이전트에 의해 사이트가 오버런되는 것을 방지하기 위함입니다.

크롤링 속도 변경

크롤링 속도에 영향을 미치는 몇 가지 요소는 다음과 같습니다.

  • 웹사이트 속도 – 사이트가 Googlebot에 빠르게 응답하면 Google은 크롤링 제한 속도를 높입니다. 반면 Google은 느린 웹사이트의 크롤링 속도를 낮춥니다.
  • Search Console에서 설정 – 웹마스터는 Search Console에서 크롤링 제한을 설정할 수도 있습니다. 크롤링 속도를 높일 수는 없지만 Google이 서버에서 너무 많은 크롤링을 수행하고 있다고 생각되면 속도를 줄일 수 있습니다.

크롤링 속도가 양호하면 페이지 색인이 더 빨리 생성될 수 있지만 크롤링 속도가 높다고 순위가 결정되는 것은 아닙니다.

크롤링 속도 설정

크롤링 수요 – SEO를 위한 크롤링 예산

크롤링 한도에 도달하지 않더라도 Google은 봇이 크롤링하는 페이지 수를 줄일 수 있습니다. 봇의 활동 감소를 크롤링 수요 감소라고 합니다.

크롤링 수요에 영향을 주는 것은 무엇입니까? 몇 가지가 있습니다.

  • 인기도 – 더 인기 있는(즉, 소셜 미디어에서 많이 공유되고 다른 웹사이트에서 링크를 받는) 페이지가 더 자주 크롤링되는 경향이 있습니다.
  • 부실 – Google은 색인에서 URL이 부실해지는 것을 방지하려고 합니다.

또한 사이트 전체 이벤트(예: 사이트 이동)로 인해 크롤링 수요가 증가할 수 있습니다. 이는 Google에서 새 URL로 콘텐츠의 색인을 다시 생성해야 하기 때문입니다.

크롤링 예산에 영향을 주는 것은 무엇입니까? – SEO를 위한 크롤링 예산

기본적으로 크롤링 예산은 크롤링 속도와 크롤링 수요의 조합입니다. Illyes에 따르면 크롤링 예산은 Googlebot이 크롤링할 수 있고 크롤링하려는 URL의 수입니다.

다행히 Google은 크롤링 예산에 영향을 미치는 요소를 정확히 식별했습니다. 다음은 중요도에 따라 순위가 매겨진 목록입니다.

  • URL 매개변수 – 매개변수 (예: "http://mysite.com?id=3")가 추가된 기본 URL(예: "http://mysite.com")이 정확히 동일한 값을 반환하는 경우가 많습니다. 페이지. 이러한 종류의 설정은 모든 URL이 동일한 페이지를 반환하더라도 크롤링 예산에 포함되는 수많은 고유 URL을 초래할 수 있습니다.
  • 중복 콘텐츠 – 경우에 따라 URL은 요청 매개변수 없이 완전히 고유할 수 있으며 여전히 동일한 콘텐츠를 반환합니다. 이는 크롤링 예산에도 부정적인 영향을 미칩니다.
  • 소프트 오류 페이지 – Soft 404 오류 페이지는 크롤링 예산에도 영향을 미칩니다. 다행히도 Search Console에도 보고됩니다.
  • 해킹된 페이지 – 해커의 피해를 입은 사이트는 크롤링 예산이 제한되어 있음을 알 수 있습니다.
  • 무한한 공간 – 링크가 무제한인 사이트(예: 사용자가 일, 월 또는 연도를 클릭할 수 있는 캘린더)는 Googlebot이 중요하지 않을 수 있는 링크에 크롤링 예산을 낭비한다는 것을 알게 됩니다.
  • 저품질 콘텐츠 – 사이트의 품질이 좋지 않은 경우 Google에서 크롤링 예산을 제한할 가능성이 높습니다.

크롤링 예산을 최적화하는 방법

이제 SEO를 위한 크롤링 예산의 개념에 익숙해졌으므로 그에 따라 사이트를 최적화할 차례입니다. 여기에 몇 가지 방법이 있습니다.

1. 무료 도구 사용

– Google Search Console과 Bing 웹마스터 도구는 크롤링 예산에 부정적인 영향을 미칠 수 있는 문제에 대한 많은 정보를 제공합니다. 이를 사용하고 모니터링하는 모든 사이트에 대해 구성해야 합니다.

그런 다음 때때로 해당 도구를 다시 확인하여 사이트에 문제가 있는지 확인하십시오. 예를 들어 Search Console에서 사이트 중 하나에 소프트 404 오류가 있다고 보고하는 경우 해당 문제를 즉시 수정해야 합니다.

Google과 Microsoft는 모두 귀하가 온라인에서 성공하기를 바랍니다. 그렇기 때문에 이러한 도구를 무료로 제공합니다.

2. 페이지가 크롤링 가능한지 확인

– Googlebot이 귀하의 사이트를 크롤링하는 것을 어렵게 만드는 정도로 현대 기술의 경이로움을 이용하고 싶은 유혹이 있습니다. 그 유혹에 저항하십시오.

예를 들어 AJAX(Asynchronous JavaScript and XML)와 같은 기술은 사용자가 페이지를 새로 고칠 필요가 없도록 콘텐츠를 로드합니다. 그러나 AJAX에 의해 로드된 콘텐츠는 Googlebot이 액세스하지 못할 수 있습니다. 이것은 SEO 크롤링 예산을 넘어 스팸이 되는 큰 주제이므로 다른 게시물을 위해 저장하겠습니다. 그러나 기본적으로 HTML 기반이 필요합니다.

또한 사이트맵을 사용하고 항상 최신 상태인지 확인하십시오. 다행히 WordPress와 같은 콘텐츠 관리 시스템을 사용하면 이를 쉽게 수행할 수 있습니다.

3. 리디렉션 제한

– 사이트의 페이지 중 하나가 다른 페이지로 리디렉션될 때마다(301 또는 302 리디렉션 사용) 크롤링 예산의 작은 부분을 사용합니다. 즉, 리디렉션이 많은 경우 색인을 생성하려는 페이지를 Googlebot이 크롤링하기 전에 크롤링 예산이 고갈될 수 있습니다.

4. 깨진 링크 제거

– 사이트에 깨진 링크가 많은 경우 크롤링 예산을 최대화하려면 해당 링크를 정리해야 합니다.

다행히도 Screaming Frog와 같은 도구를 사용하면 끊어진 링크를 쉽게 찾을 수 있습니다. 또한 수시로 구글 서치 콘솔과 빙 웹마스터 도구로 확인하시기 바랍니다.

5. URL 매개변수 사용 피하기

– 지금까지 살펴본 바와 같이 동일한 페이지를 가리키는 서로 다른 URL 매개변수를 사용하면 크롤링 예산의 상당 부분을 차지할 수 있습니다. 물론 URL 매개변수를 완전히 제거하여 이 문제를 제거할 수 있습니다.

예를 들어 전자 상거래 사이트를 운영하는 경우 다음 URL을 사용하여 특정 제품을 표시할 수 있습니다. http://mysite.com/shop?productId=5. 대신 해당 URL을 http://mysite.com/shop/productId5와 같이 변경하십시오. 이렇게 하면 하나 이상의 요청 매개변수가 제거됩니다.

요청 매개변수를 사용해야 하는 경우 Search Console에서 해당 매개변수를 처리하는 방법을 Google에 알려야 합니다. 왼쪽 사이드바에서 "크롤링"을 클릭하고 나타나는 메뉴에서 "URL 매개변수"를 선택하기만 하면 됩니다. 해당 페이지에서 제안을 수정하고 Google이 중복 페이지의 색인을 생성하지 않도록 새 매개변수를 추가할 수 있습니다. 그러면 SEO에 대한 크롤링 예산이 변경됩니다. 하지만 여기서 정말 조심하세요. 잘못된 매개변수는 웹사이트를 파괴할 수 있습니다.

6. 내부 연결 사용

– 오늘날 SEO에서 가장 간과되는 측면 중 하나가 내부 연결입니다. 그러나 일반적으로 가장 수익성이 높은 페이지에 내부적으로 연결하는 것이 가장 좋습니다. 그렇게 하면 Googlebot이 해당 페이지를 더 자주 보게 됩니다.

7. 외부 연결 사용

– 최근 연구에 따르면 외부 링크와 Googlebot이 사이트를 크롤링하는 횟수 사이에는 상관관계가 있는 것으로 나타났습니다. 그렇기 때문에 귀하의 사이트를 가리키는 외부 링크를 얻는 것이 중요합니다.

외부 링크를 구축할 수 있는 모든 방법에 대해 설명하는 것은 이 기사의 범위를 벗어납니다. 자세한 내용은 이 포괄적인 백링크 전략 목록을 참조하세요.

8. 서버 속도 향상

– 호스팅 제공업체를 선택하기 전에 사전 판매 조사를 하는 것이 중요합니다. 서버 요청에 매우 빠르게 응답하는 호스트를 원하기 때문입니다.

서버가 페이지 요청에 응답하는 속도가 빠를수록 Googlebot이 크롤링하는 페이지가 늘어납니다.

9. 페이지 캐시

– 속도에 대해 말하자면, 웹 페이지를 캐시하는 것은 정말 좋은 아이디어입니다. 사용자뿐만 아니라 Googlebot에게도 더 빠르게 로드되어 사이트의 크롤링 속도 제한을 높일 수 있습니다.

다행히 W3 Total Cache 플러그인 또는 Super Cache 플러그인을 사용하면 WordPress 플랫폼에서 페이지를 쉽게 캐시할 수 있습니다.

10. 페이지 로드 속도 최적화

– 사이트를 고속 서버에 배치하고 페이지를 캐시한 후에도 속도 최적화가 완료되지 않을 수 있습니다. PageSpeed ​​Insights 도구로 이동하여 Google이 페이지 속도에 대해 어떻게 생각하는지 확인하세요.

페이지가 최대한 빨리 로드되지 않도록 하는 몇 가지 문제가 사이트에 여전히 있음을 발견할 수 있습니다. 예를 들어 페이지에 렌더링 차단 JavaScript 또는 CSS가 있을 수 있습니다.

사이트 속도 테스트

다행히도 Google은 사이트의 문제를 알려줄 뿐만 아니라 사이트에서 확인된 문제를 해결하는 방법도 알려줍니다.

SEO를 위한 크롤링 예산 정리하기

이제 크롤링 예산, 검색 엔진 최적화 및 사이트에 미치는 영향에 대해 조금 더 알게 되었습니다.

오늘 시간을 내어 크롤링 예산을 최적화하기 위한 실행 계획을 세우는 것이 어떻습니까? 이는 대규모 웹사이트에 정말 도움이 될 수 있으며 종종 크롤링 외부의 다른 많은 문제를 수정하게 됩니다.