Бюджет сканирования Google для SEO, перестаньте гадать! (Настоящая информация здесь)

Опубликовано: 2021-07-13

Если вы хотите, чтобы страницы вашего сайта проиндексировались быстро, вам необходимо понимать значение краулингового бюджета для SEO.

Это действительно влияет на все сайты, большие и маленькие. Но часто на большие сайты, сайты с техническими ошибками или сайты с уникальными функциями генерации URL действительно нужно обратить внимание.

Но ждать!

Я забегаю вперед. Начнем немного медленнее.

Все, что вам нужно знать о краулинговом бюджете для SEO

Все, что вам нужно знать о краулинговом бюджете для SEO

Идея обходного бюджета когда-то была чем-то вроде угадайки среди SEO-специалистов. Однако, благодаря недавнему сообщению Гэри Иллиса из Google, мы все гораздо более информированы.

В этой статье мы рассмотрим все, что вам нужно знать о бюджете сканирования, и предложим несколько советов по оптимизации.

Что такое краулинговый бюджет?

Прежде чем вы сможете понять концепцию краулингового бюджета для SEO, вам сначала нужно познакомиться с другим термином: Googlebot.

Робот Googlebot - это имя, данное автоматическому агенту, который просматривает ваш сайт в поисках страниц для добавления в его индекс. Вы можете думать об этом как о цифровом веб-серфингисте.

Поскольку в сети есть миллиарды и миллиарды страниц, для робота Google будет непрактично сканировать их каждую секунду каждый день. Это потребует ценного трафика в сети, что приведет к снижению производительности веб-сайтов.

Таким образом, Google выделяет краулинговый бюджет для каждого веб-сайта. Этот бюджет определяет, как часто робот Googlebot сканирует сайт в поисках страниц для индексации.

Google определяет миссию краулингового бюджета следующим образом: «Приоритетность сканирования, когда и сколько ресурсов сервер, на котором размещен сайт, может выделить для сканирования, более важен для более крупных сайтов или тех, которые автоматически создают страницы на основе параметров URL. , Например."

Почему оптимизация бюджета сканирования важна для SEO?

Ответ на этот вопрос фундаментален и прост. Чем лучше краулинговый бюджет оптимизирован для индексации страницы, тем выше ее рейтинг в Google.

Крайне важно убедиться, что если у вас большой сайт, в частности электронная коммерция, или вы добавили много страниц или много перенаправляемых страниц, у вас есть бюджет для сканирования, чтобы справиться с этим.

Однако это не должно вызывать большого беспокойства, поскольку Google эффективно сканирует проиндексированные страницы, но об этом, безусловно, следует знать.

Ограничение скорости сканирования

Предел скорости сканирования немного отличается от бюджета сканирования. Он определяет, сколько одновременных подключений использует робот Googlebot для сканирования сайта, и время ожидания перед загрузкой другой страницы.

Помните, Google - это все о пользовательском опыте. Причина, по которой его бот использует ограничение скорости сканирования, заключается в том, чтобы предотвратить перегрузку сайта автоматическими агентами до такой степени, что у пользователей-людей возникнут проблемы с загрузкой сайта в своих браузерах.

изменить скорость сканирования

Вот несколько факторов, которые влияют на скорость сканирования:

  • Скорость веб-сайта. Если сайт быстро реагирует на робота Googlebot, Google увеличит ограничение скорости сканирования. С другой стороны, Google снизит скорость сканирования медленных веб-сайтов.
  • Настройка в Search Console - веб-мастера также могут установить лимит сканирования в Search Console. Хотя они не могут увеличить скорость сканирования, они могут уменьшить ее, если считают, что Google выполняет слишком много сканирования на их сервере.

Имейте в виду, что, хотя при нормальной скорости сканирования страницы могут индексироваться быстрее, более высокая скорость сканирования не является фактором ранжирования.

настройки скорости сканирования

Спрос на сканирование - бюджет сканирования для SEO

Даже если предел сканирования не достигнут, Google может уменьшить количество страниц, которые сканирует бот. Снижение активности бота называется уменьшением потребности в сканировании.

Что влияет на потребность в сканировании? Есть пара вещей:

  • Популярность - страницы, которые являются более популярными (то есть ими часто делятся в социальных сетях и получают ссылки с других веб-сайтов), как правило, сканируются чаще.
  • Устойчивость - Google пытается предотвратить устаревание URL-адресов в своем индексе.

Кроме того, события на уровне сайта (например, перемещение сайта) могут привести к увеличению потребности в сканировании. Это потому, что Google необходимо переиндексировать контент с новыми URL-адресами.

Что влияет на краулинговый бюджет? - Бюджет сканирования для SEO

По сути, краулинговый бюджет - это комбинация скорости сканирования и потребности в сканировании. Согласно Иллису, краулинговый бюджет - это количество URL-адресов, которые робот Googlebot может и хочет сканировать.

К счастью, Google точно определил, какие факторы влияют на краулинговый бюджет. Вот их список в порядке важности:

  • Параметры URL - часто бывает, что базовый URL (например, «http://mysite.com»), добавленный с параметрами (например, «http://mysite.com?id=3»), возвращает точно такой же страница. Такая настройка может привести к тому, что в бюджет сканирования будет засчитываться множество уникальных URL, даже если все эти URL возвращают одну и ту же страницу.
  • Дублированный контент. В некоторых случаях URL-адреса могут быть полностью уникальными без параметров запроса и по-прежнему возвращать тот же контент. Это также отрицательно скажется на бюджете сканирования.
  • Страницы с мягкими ошибками. Страницы с мягкими ошибками 404 также влияют на бюджет сканирования. К счастью, они также отображаются в Search Console.
  • Взломанные страницы - сайты, ставшие жертвами хакеров, могут видеть ограниченный бюджет сканирования.
  • Бесконечное пространство - сайты с неограниченным количеством ссылок (например, календари, где пользователи могут щелкнуть день, месяц или год) обнаружат, что робот Googlebot тратит свой краулинговый бюджет на ссылки, которые могут быть неважными.
  • Некачественный контент. Если сайт страдает от низкого качества, вероятно, Google ограничит бюджет сканирования.

Как оптимизировать краулинговый бюджет

Теперь, когда вы знакомы с концепцией краулингового бюджета для SEO, пришло время соответствующим образом оптимизировать ваш сайт. Вот несколько способов сделать это.

1. Используйте бесплатные инструменты

- Как Google Search Console, так и Bing Webmaster Tools предоставляют вам много информации о проблемах, которые могут отрицательно повлиять на ваш краулинговый бюджет. Обязательно используйте их и настройте для всех отслеживаемых сайтов.

Затем проверяйте время от времени эти инструменты, чтобы узнать, не возникают ли на ваших сайтах какие-либо проблемы. Например, если Search Console сообщает, что на одном из ваших сайтов есть программные ошибки 404, немедленно устраните эту проблему.

Помните, что и Google, и Microsoft хотят, чтобы вы преуспели в Интернете. Вот почему они предоставляют эти инструменты бесплатно.

2. Убедитесь, что ваши страницы доступны для сканирования

- Заманчиво воспользоваться чудесами современных технологий до такой степени, что вы затрудняете сканирование вашего сайта роботом Googlebot. Сопротивляйтесь этому искушению.

Например, такая технология, как AJAX (асинхронный JavaScript и XML), загружает контент, поэтому пользователям не нужно обновлять страницу. Однако контент, загруженный с помощью AJAX, может быть недоступен для робота Googlebot. Это большая тема, которая рассылает спам за пределами SEO-сканирования, поэтому мы оставим ее для другого поста. Но в основном вам нужна база HTML.

Кроме того, используйте карту сайта и следите за тем, чтобы она всегда была в актуальном состоянии. К счастью, системы управления контентом, такие как WordPress, позволяют это легко сделать.

3. Ограничение переадресации

- Каждый раз, когда одна из страниц вашего сайта перенаправляется на другую страницу (с перенаправлением 301 или 302), она использует небольшую часть вашего краулингового бюджета. Это означает, что если у вас много перенаправлений, ваш бюджет сканирования может быть исчерпан до того, как робот Googlebot просканирует страницу, которую вы хотите проиндексировать.

4. Удалите неработающие ссылки.

- Если на вашем сайте много неработающих ссылок, вам нужно очистить их, если вы хотите максимизировать свой краулинговый бюджет.

К счастью, неработающие ссылки легко найти с помощью такого инструмента, как Screaming Frog. Кроме того, не забудьте время от времени проверять Google Search Console и Bing Webmaster Tools.

5. Избегайте использования параметров URL.

- Как мы видели, вы можете съесть значительную часть своего краулингового бюджета, используя разные параметры URL, указывающие на одну и ту же страницу. Конечно, вы можете устранить эту проблему, полностью исключив параметры URL.

Например, если у вас есть сайт электронной торговли, вы можете использовать следующий URL-адрес для отображения определенного продукта: http://mysite.com/shop?productId=5. Вместо этого измените этот URL-адрес на http://mysite.com/shop/productId5 и сделайте что-нибудь в этом роде. При этом вы удалите по крайней мере один параметр запроса.

Если вам необходимо использовать параметры запроса, обязательно сообщите Google, как обрабатывать эти параметры в Search Console. Просто нажмите «Сканировать» на левой боковой панели и выберите «Параметры URL» в появившемся меню. На этой странице вы можете редактировать свои предложения и добавлять новые параметры, чтобы Google не индексировал повторяющиеся страницы. Это изменит ваш краулинговый бюджет для SEO. Но будьте здесь очень осторожны, неправильный параметр может разрушить ваш сайт.

6. Используйте внутренние ссылки

- Возможно, сегодня одним из наиболее недооцененных аспектов SEO являются внутренние ссылки. Однако имейте в виду, что обычно лучше всего размещать внутренние ссылки на самые прибыльные страницы. Таким образом, робот Googlebot будет чаще видеть эти страницы.

7. Используйте внешние ссылки

- Недавнее исследование показывает, что существует корреляция между внешними ссылками и количеством сканирований сайта роботом Googlebot. Вот почему так важно, чтобы внешние ссылки указывали на ваш сайт.

Подробное описание всех способов создания внешних ссылок выходит за рамки данной статьи. Просмотрите этот исчерпывающий список стратегий создания обратных ссылок для получения дополнительной информации.

8. Повысьте скорость вашего сервера.

- Перед выбором хостинг-провайдера важно провести предпродажное исследование. Это потому, что вам нужен хост, который очень быстро отвечает на запросы сервера.

Чем быстрее ваш сервер отвечает на запрос страницы, тем больше страниц будет сканировать робот Googlebot.

9. Кэшируйте свои страницы

- Говоря о скорости, это действительно отличная идея кэшировать ваши веб-страницы. Они будут загружаться быстрее не только для пользователей, но и для робота Googlebot, что повысит ограничение скорости сканирования вашего сайта.

К счастью, на платформе WordPress легко кэшировать страницы с помощью плагина W3 Total Cache или плагина Super Cache.

10. Оптимизируйте скорость загрузки страницы.

- После того, как вы разместили свой сайт на быстром сервере и кэшировали свои страницы, вы все еще можете не закончить оптимизацию скорости. Перейдите к инструменту PageSpeed ​​Insights и узнайте, что Google думает о скорости вашей страницы.

Вы можете обнаружить, что на вашем сайте все еще есть несколько проблем, которые не позволяют вашим страницам загружаться как можно быстрее. Например, на ваших страницах может быть JavaScript или CSS, блокирующий рендеринг.

тест скорости сайта

К счастью, Google не только сообщает вам, что не так с вашим сайтом, но и сообщает, как исправить выявленные проблемы.

Подведение итогов сканирования бюджета для SEO

Теперь вы знаете немного больше о бюджете сканирования, поисковой оптимизации и о том, как это влияет на ваш сайт.

Почему бы сегодня не найти время, чтобы разработать план действий по оптимизации обходного бюджета? Это может быть действительно полезно для крупных веб-сайтов и часто приводит к устранению многих других проблем, помимо сканирования.