Comment ajouter un fichier Robots.txt personnalisé dans Blogger?

Publié: 2020-11-10

Dans l'un de mes articles précédents, j'avais discuté des paramètres des balises d'en-tête des robots personnalisés pour les blogueurs.

Si vous avez lu cet article, j'espère que vous êtes conscients de son importance dans les classements de recherche.

Aujourd'hui, je suis de retour avec un terme de blog très utile et incontournable qui est Robots.txt.

Dans blogger, il est connu sous le nom de Custom Robots.txt, ce qui signifie que vous pouvez désormais personnaliser ce fichier en fonction de votre choix.

Dans le didacticiel d'aujourd'hui, nous discuterons de ce terme en profondeur et découvrirons son utilisation et ses avantages. Je vais également vous dire comment ajouter un fichier robots.txt personnalisé dans blogger.

Alors commençons le guide.

Plus…

Qu'est-ce que Robots.txt?

Robots.txt est un fichier texte qui contient quelques lignes de code simple.

Il est enregistré sur le site Web ou le serveur du blog, qui indique aux robots d'exploration Web comment indexer et explorer votre blog dans les résultats de recherche.

Cela signifie que vous pouvez restreindre n'importe quelle page Web de votre blog à partir des robots d'exploration afin qu'elle ne puisse pas être indexée dans les moteurs de recherche tels que la page des étiquettes de votre blog, votre page de démonstration ou toute autre page dont l'indexation n'est pas aussi importante.

N'oubliez pas que les robots d'exploration analysent le fichier robots.txt avant d'explorer une page Web.

Chaque blog hébergé sur blogger a son fichier robots.txt par défaut qui ressemble à ceci:

Agent utilisateur: Mediapartners-Google

Refuser:

Agent utilisateur: *

Disallow: / recherche

Autoriser: /

Plan du site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explication

Ce code est divisé en trois sections. Étudions d'abord chacun d'eux, puis nous apprendrons comment ajouter un fichier robots.txt personnalisé dans les blogs blogspot.

Agent utilisateur: Mediapartners-Google

Ce code est destiné aux robots Google Adsense qui les aident à diffuser de meilleures annonces sur votre blog. Soit vous utilisez Google Adsense sur votre blog, soit vous ne le laissez pas simplement tel quel.

Agent utilisateur: *

Ceci est pour tous les robots marqués d'un astérisque (*). Dans les paramètres par défaut, les liens des étiquettes de notre blog sont limités à l'indexation par les robots de recherche, ce qui signifie que les robots d'exploration n'indexeront pas les liens de nos pages d'étiquettes à cause du code ci-dessous.

Disallow: / recherche

Cela signifie que les liens ayant une recherche par mot-clé juste après le nom de domaine seront ignorés. Voir l'exemple ci-dessous qui est un lien de page d'étiquette nommé SEO.

http://www.bloggertipstricks.com/ search / label / SEO

Et si nous supprimons Disallow: / search du code ci-dessus, les robots d'exploration accèderont à l'ensemble de notre blog pour indexer et explorer tout son contenu et ses pages Web.

Here Allow: / fait référence à la page d'accueil, ce qui signifie que les robots d'exploration peuvent explorer et indexer la page d'accueil de notre blog.

Interdire la publication particulière

Supposons maintenant que si nous voulons exclure un article particulier de l'indexation, nous pouvons ajouter des lignes ci-dessous dans le code.

Interdire: /yyyy/mm/post-url.html

Ici, aaaa et mm se réfèrent respectivement à l'année de publication et au mois de la publication. Par exemple, si nous avons publié un article en 2013 au mois de mars, nous devons utiliser le format ci-dessous.

Interdire: /2013/03/post-url.html

Pour faciliter cette tâche, vous pouvez simplement copier l'URL de la publication et supprimer le nom du blog depuis le début.

Interdire une page particulière

Si nous devons interdire une page particulière, nous pouvons utiliser la même méthode que ci-dessus. Copiez simplement l'URL de la page et supprimez l'adresse du blog, ce qui ressemblera à ceci:

Interdire: /p/page-url.html

Plan du site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Ce code fait référence au plan du site de notre blog. En ajoutant ici un lien vers le plan du site, nous optimisons simplement la vitesse d'exploration de notre blog.

Cela signifie que chaque fois que les robots d'exploration analysent notre fichier robots.txt, ils trouveront un chemin vers notre plan du site où tous les liens de nos articles publiés sont présents.

Les robots d'exploration Web pourront facilement explorer tous nos articles.

Par conséquent, il y a de meilleures chances que les robots d'exploration Web explorent tous nos articles de blog sans en ignorer un seul.

Remarque : ce plan du site informera uniquement les robots d'exploration des 25 publications récentes. Si vous souhaitez augmenter le nombre de liens dans votre plan de site, remplacez le plan de site par défaut par celui ci-dessous. Cela fonctionnera pour les 500 premiers messages récents.

Plan du site: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Si vous avez plus de 500 articles publiés sur votre blog, vous pouvez utiliser deux plans de site comme ci-dessous:

Plan du site: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- résultats = 1000

Ajout de Robots.Txt personnalisés à Blogger

La partie principale de ce didacticiel est maintenant de savoir comment ajouter un fichier robots.txt personnalisé dans blogger. Voici donc les étapes pour l'ajouter.

Accédez à votre blog blogueur.
Accédez à Paramètres >> Préférences de recherche ›› Explorateurs et indexation ›› Robots.txt personnalisés ›› Modifier ›› Oui
Collez maintenant votre code de fichier robots.txt dans la boîte.
Cliquez sur le bouton Enregistrer les modifications.
Vous avez terminé!

Comment vérifier votre fichier Robots.txt?

Vous pouvez vérifier ce fichier sur votre blog en ajoutant /robots.txt à la fin de l'URL de votre blog dans le navigateur Web. Par exemple:

http://www.yourblogurl.blogspot.com/ robots.txt

Une fois que vous visitez l'URL du fichier robots.txt, vous verrez l'intégralité du code que vous utilisez dans votre fichier robots.txt personnalisé.

Voir l'image ci-dessous.

Derniers mots!

C'était le tutoriel complet d'aujourd'hui sur la façon d'ajouter un fichier robots.txt personnalisé dans blogger .

J'ai fait de mon mieux pour rendre ce tutoriel aussi simple et informatif que possible. Mais toujours si vous avez des doutes ou des questions, n'hésitez pas à me le demander dans la section commentaires ci-dessous.

Assurez-vous de ne pas mettre de code dans vos paramètres robots.txt personnalisés sans le savoir. Demandez-moi simplement de résoudre vos questions. Je vais tout vous dire en détail.

Merci les gars d'avoir lu ce tutoriel. Si cela vous a plu, aidez-moi à faire passer mes mots en partageant cette publication sur vos profils de réseaux sociaux. Bon blogging!