Budget de Google Crawl pour le référencement, ARRÊTEZ de deviner ! (Vraies informations ici)

Publié: 2021-07-13

Si vous souhaitez que les pages de votre site Web soient indexées rapidement, vous devez alors comprendre la signification du budget de crawl pour le référencement.

Cela affecte vraiment tous les sites, petits et grands. Mais souvent, les grands sites, les sites avec des erreurs techniques ou les sites avec des fonctionnalités uniques de génération d'URL doivent vraiment faire attention ici.

Mais attendez!

Je prends de l'avance sur moi-même. Commençons un peu plus lentement.

Tout ce que vous devez savoir sur un budget de crawl pour le référencement

Tout ce que vous devez savoir sur un budget de crawl pour le référencement

Le concept d'un budget de crawl était autrefois un jeu de devinettes parmi les référenceurs. Cependant, grâce à un récent article de Gary Illyes de Google, nous sommes tous maintenant beaucoup plus informés.

Dans cet article, nous couvrirons tout ce que vous devez savoir sur un budget de crawl et vous proposerons quelques conseils d'optimisation.

Qu'est-ce qu'un budget d'exploration ?

Avant de pouvoir comprendre le concept d'un budget de crawl pour le référencement, vous devez d'abord vous familiariser avec un autre terme : Googlebot.

Googlebot est le nom donné à l'agent automatisé qui parcourt votre site à la recherche de pages à ajouter à son index. Vous pouvez le considérer comme un internaute numérique.

Comme il existe des milliards et des milliards de pages sur le Web, il serait peu pratique pour le Googlebot de les explorer chaque seconde de chaque jour. Cela consommerait une précieuse bande passante en ligne, ce qui entraînerait des sites Web plus lents.

Ainsi, Google alloue un budget de crawl pour chaque site web. Ce budget détermine la fréquence à laquelle Googlebot explore le site à la recherche de pages à indexer.

Google définit la mission du budget d'exploration comme suit : « Donner la priorité à ce qu'il faut explorer, quand et combien de ressources le serveur hébergeant le site Web peut allouer à l'exploration est plus important pour les sites Web plus importants ou ceux qui génèrent automatiquement des pages en fonction des paramètres d'URL. , par example."

Pourquoi l'optimisation du budget de crawl est-elle importante pour le référencement ?

La réponse à cette question est fondamentale et simple. Mieux un crawl budget est optimisé pour indexer une page, plus elle sera classée haut sur Google.

Il est crucial de s'assurer que si vous avez un grand site, en particulier le commerce électronique, ou si vous avez ajouté beaucoup de pages ou avez beaucoup de pages redirigées, vous avez la capacité de budget de crawl pour le gérer.

Cependant, cela ne devrait pas être une préoccupation majeure, car Google explore efficacement les pages indexées, mais c'est certainement quelque chose dont il faut être conscient.

Limite de taux d'exploration

La limite de taux d'exploration est un peu différente du budget d'exploration. Il définit le nombre de connexions simultanées utilisées par Googlebot pour explorer un site et le temps qu'il attendra avant de récupérer une autre page.

N'oubliez pas que Google se concentre sur l'expérience utilisateur. La raison pour laquelle son bot utilise une limite de vitesse d'exploration est d'empêcher un site d'être envahi par des agents automatisés à un point tel que les utilisateurs humains ont du mal à charger le site sur leurs navigateurs.

modifier la vitesse d'exploration

Voici quelques facteurs qui affectent le taux d'exploration :

  • Vitesse du site Web – Si un site répond rapidement au Googlebot, Google augmentera le taux de limite d'exploration. D'un autre côté, Google réduira le taux d'exploration des sites Web lents.
  • Paramétrage dans la Search Console – Les webmasters peuvent également définir la limite d'exploration dans la Search Console. Bien qu'ils ne puissent pas augmenter le taux de crawl, ils peuvent le diminuer s'ils pensent que Google fait trop de crawl sur leur serveur.

Gardez à l'esprit que, bien qu'un taux d'exploration sain puisse accélérer l'indexation des pages, un taux d'exploration plus élevé n'est pas un facteur de classement.

paramètres de taux d'exploration

Crawl Demand – Budget de crawl pour le référencement

Même si la limite d'exploration n'est pas atteinte, Google peut réduire le nombre de pages explorées par son bot. La diminution de l'activité du bot est appelée une réduction de la demande de crawl.

Qu'est-ce qui affecte la demande de crawl ? Il y a plusieurs choses :

  • Popularité – Les pages les plus populaires (c'est-à-dire qu'elles sont beaucoup partagées sur les réseaux sociaux et reçoivent des liens d'autres sites Web) ont tendance à être explorées plus souvent.
  • Obsolescence – Google tente d'empêcher les URL de devenir obsolètes dans son index.

En outre, des événements à l'échelle du site (tels qu'un déplacement de site) peuvent entraîner une augmentation de la demande d'analyse. C'est parce que Google doit réindexer le contenu avec les nouvelles URL.

Qu'est-ce qui affecte le budget de crawl ? – Budget de crawl pour le référencement

Fondamentalement, le budget de crawl est une combinaison du taux de crawl et de la demande de crawl. Selon Illyes, le budget de crawl est le nombre d'URL que le Googlebot peut et veut explorer.

Heureusement, Google a identifié exactement les facteurs qui affectent le budget de crawl. Voici une liste d'entre eux, classés par ordre d'importance :

  • Paramètres d'URL - Il arrive souvent qu'une URL de base (par exemple, "http://mysite.com") ajoutée avec des paramètres (par exemple, "http://mysite.com?id=3") renvoie exactement le même page. Ce type de configuration peut entraîner de nombreuses URL uniques prises en compte dans le budget de crawl, même si toutes ces URL renvoient la même page.
  • Contenu en double – Dans certains cas, les URL peuvent être totalement uniques sans paramètres de demande et renvoyer toujours le même contenu. Cela affectera également le budget de crawl.
  • Pages d'erreur logicielles – Les pages d'erreur logicielles 404 ont également un impact sur le budget de crawl. Heureusement, ils sont également signalés dans la Search Console.
  • Pages piratées – Les sites qui ont été victimes de pirates informatiques peuvent voir leur budget de crawl limité.
  • Espaces infinis - Les sites qui ont des liens illimités (tels que des calendriers où les utilisateurs peuvent cliquer sur un jour, un mois ou une année) constateront que le Googlebot gaspille son budget d'exploration sur des liens qui pourraient être sans importance.
  • Contenu de mauvaise qualité – Si le site souffre d'une mauvaise qualité, il est probable que Google limitera le budget de crawl.

Comment optimiser votre budget de crawl

Maintenant que vous êtes familiarisé avec le concept d'un budget de crawl pour le référencement, il est temps d'optimiser votre site en conséquence. Voici plusieurs façons de le faire.

1. Utilisez des outils gratuits

– Google Search Console et Bing Webmaster Tools vous fournissent de nombreuses informations sur les problèmes qui pourraient affecter négativement votre budget de crawl. Assurez-vous de les utiliser et de les configurer pour tous les sites que vous surveillez.

Ensuite, vérifiez de temps en temps avec ces outils pour voir si vos sites rencontrent des problèmes. Par exemple, si la Search Console signale que l'un de vos sites contient des erreurs logicielles 404, assurez-vous de résoudre ce problème immédiatement.

N'oubliez pas que Google et Microsoft souhaitent que vous réussissiez en ligne. C'est pourquoi ils fournissent ces outils gratuitement.

2. Assurez-vous que vos pages sont explorables

– Il est tentant de profiter des merveilles de la technologie moderne à un point tel que vous compliquez l'exploration de votre site par le Googlebot. Résistez à cette tentation.

Par exemple, une technologie comme AJAX (Asynchronous JavaScript and XML) charge le contenu afin que les utilisateurs n'aient pas à actualiser la page. Cependant, le contenu chargé par AJAX peut ne pas être accessible par le Googlebot. C'est un gros sujet qui spamme au-delà des bugs d'exploration SEO, nous le garderons donc pour un autre article. Mais fondamentalement, vous devez avoir une base HTML.

Utilisez également un plan du site et assurez-vous qu'il est toujours à jour. Heureusement, les systèmes de gestion de contenu comme WordPress facilitent cette tâche.

3. Limiter les redirections

– Chaque fois qu'une des pages de votre site redirige vers une autre page (avec une redirection 301 ou 302), elle utilise une petite partie de votre budget de crawl. Cela signifie que si vous avez beaucoup de redirections, votre budget d'exploration peut être épuisé avant que le Googlebot n'explore la page que vous souhaitez indexer.

4. Éliminez les liens brisés

– Si vous avez beaucoup de liens brisés sur votre site, vous devrez les nettoyer si vous souhaitez maximiser votre budget de crawl.

Heureusement, il est facile de trouver des liens brisés avec un outil comme Screaming Frog. Assurez-vous également de vérifier de temps en temps avec Google Search Console et Bing Webmaster Tools.

5. Évitez d'utiliser des paramètres d'URL

– Comme nous l'avons vu, vous pouvez consommer une part importante de votre budget de crawl avec différents paramètres d'URL qui pointent vers la même page. Vous pouvez bien sûr éliminer ce problème en éliminant complètement les paramètres d'URL.

Par exemple, si vous exploitez un site de commerce électronique, vous pouvez utiliser l'URL suivante pour afficher un produit spécifique : http://mysite.com/shop?productId=5. Au lieu de cela, changez cette URL en http://mysite.com/shop/productId5 donc quelque chose comme ça. Ce faisant, vous éliminerez au moins un paramètre de requête.

Si vous devez utiliser des paramètres de demande, assurez-vous d'indiquer à Google comment gérer ces paramètres dans la console de recherche. Cliquez simplement sur « Explorer » dans la barre latérale de gauche et sélectionnez « Paramètres d'URL » dans le menu qui apparaît. Sur cette page, vous pouvez modifier vos suggestions et ajouter de nouveaux paramètres afin que Google n'indexe pas les pages en double. Cela changera votre budget de crawl pour le référencement. Mais faites très attention ici, un mauvais paramètre peut détruire votre site Web.

6. Utilisez les liens internes

– On peut soutenir que l'un des aspects les plus négligés du référencement aujourd'hui est le maillage interne. Gardez à l'esprit, cependant, qu'il est généralement préférable de créer un lien interne vers vos pages les plus rentables. De cette façon, le Googlebot verra ces pages plus fréquemment.

7. Utilisez des liens externes

– Une étude récente montre qu'il existe une corrélation entre les liens externes et le nombre de fois que le Googlebot explore un site. C'est pourquoi il est important d'avoir des liens externes pointant vers votre site.

Il n'entre pas dans le cadre de cet article d'aborder toutes les manières dont vous pouvez créer des liens externes. Consultez cette liste complète de stratégies de backlinking pour plus d'informations.

8. Améliorez la vitesse de votre serveur

– Il est important de faire des recherches avant-vente avant de sélectionner un fournisseur d'hébergement. C'est parce que vous voulez un hôte qui réponde très rapidement aux demandes du serveur.

Plus votre serveur répond rapidement à une demande de page, plus le Googlebot explorera de pages.

9. Cachez vos pages

– En parlant de vitesse, c'est une très bonne idée de mettre en cache vos pages Web. Ils se chargeront plus rapidement non seulement pour les utilisateurs, mais aussi pour le Googlebot, donnant à votre site une augmentation de la limite de vitesse d'exploration.

Heureusement, il est facile de mettre en cache des pages sur une plateforme WordPress avec le plugin W3 Total Cache ou le plugin Super Cache.

10. Optimiser la vitesse de chargement des pages

– Une fois que vous avez placé votre site sur un serveur rapide et mis vos pages en cache, vous n'en avez peut-être pas encore fini avec l'optimisation de la vitesse. Rendez-vous sur l'outil PageSpeed ​​Insights et voyez ce que Google pense de la vitesse de votre page.

Vous constaterez peut-être qu'il existe encore quelques problèmes sur votre site qui empêchent vos pages de se charger le plus rapidement possible. Par exemple, vous pouvez avoir du JavaScript ou du CSS bloquant le rendu sur vos pages.

test de vitesse du site

Heureusement, Google vous dit non seulement ce qui ne va pas avec votre site, mais aussi comment résoudre les problèmes qu'il a identifiés.

Conclusion du budget de crawl pour le référencement

Vous en savez maintenant un peu plus sur les budgets de crawl, l'optimisation des moteurs de recherche et comment cela affecte votre site.

Pourquoi ne pas prendre le temps aujourd'hui de mettre en place un plan d'action pour optimiser votre budget crawl ? Cela peut être très utile pour les grands sites Web et conduit souvent à résoudre de nombreux autres problèmes en dehors du crawl.