Wie füge ich eine benutzerdefinierte Robots.txt-Datei in Blogger hinzu?

Veröffentlicht: 2020-11-10

In einem meiner vorherigen Beiträge hatte ich die Einstellungen für benutzerdefinierte Roboter-Header-Tags für Blogger besprochen.

Wenn Sie diesen Beitrag gelesen haben, dann hoffe ich, dass Sie sich seiner Bedeutung in Suchrankings bewusst sind.

Heute bin ich mit einem sehr nützlichen und unbedingt bekannten Blogging-Begriff zurück, der Robots.txt ist.

In Blogger ist es als Custom Robots.txt bekannt, was bedeutet, dass Sie diese Datei jetzt nach Ihren Wünschen anpassen können.

Im heutigen Tutorial werden wir diesen Begriff ausführlich diskutieren und seine Verwendung und Vorteile kennenlernen. Ich werde Ihnen auch erklären, wie Sie eine benutzerdefinierte robots.txt-Datei in Blogger hinzufügen.

Beginnen wir also mit der Anleitung.

Mehr…

Was ist Robots.txt?

Robots.txt ist eine Textdatei , die einige Zeilen einfachen Code enthält.

Es wird auf der Website oder auf dem Server des Blogs gespeichert, auf dem die Webcrawler angewiesen werden, wie Sie Ihr Blog in den Suchergebnissen indizieren und crawlen.

Das bedeutet, dass Sie jede Webseite in Ihrem Blog von Webcrawlern einschränken können, damit sie nicht in Suchmaschinen wie Ihrer Blog-Labelseite, Ihrer Demoseite oder anderen Seiten indiziert werden kann, die für die Indizierung nicht so wichtig sind.

Denken Sie immer daran, dass Such-Crawler die robots.txt-Datei scannen, bevor Sie eine Webseite crawlen.

Jedes auf Blogger gehostete Blog hat seine Standarddatei robots.txt, die ungefähr so aussieht:

User-Agent: Mediapartners-Google

Nicht zulassen:

User-Agent: *

Nicht zulassen: / suchen

Ermöglichen: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Erläuterung

Dieser Code ist in drei Abschnitte unterteilt. Lassen Sie uns zunächst jeden einzelnen von ihnen untersuchen. Anschließend erfahren Sie, wie Sie benutzerdefinierte robots.txt-Dateien in Blogspot-Blogs hinzufügen.

User-Agent: Mediapartners-Google

Dieser Code ist für Google Adsense-Roboter gedacht, mit denen sie bessere Anzeigen in Ihrem Blog schalten können. Entweder verwenden Sie Google Adsense in Ihrem Blog oder Sie lassen es nicht einfach so, wie es ist.

User-Agent: *

Dies gilt für alle mit einem Sternchen (*) gekennzeichneten Roboter. In den Standardeinstellungen sind die Labellinks unseres Blogs auf die Suche durch Such-Crawler beschränkt. Dies bedeutet, dass die Webcrawler unsere Labelseiten-Links aufgrund des folgenden Codes nicht indizieren.

Nicht zulassen: / suchen

Das heißt , die Links Keyword Namen werden ignoriert , nachdem die Domäne suchen zu müssen. Siehe das folgende Beispiel, bei dem es sich um einen Link der Labelseite mit dem Namen SEO handelt.

http://www.bloggertipstricks.com/ search / label / SEO

Wenn wir Disallow: / search aus dem obigen Code entfernen, greifen Crawler auf unser gesamtes Blog zu, um den gesamten Inhalt und die Webseiten zu indizieren und zu crawlen.

Hier zulassen: / bezieht sich auf die Homepage, dh Web-Crawler können die Homepage unseres Blogs crawlen und indizieren.

Bestimmte Beiträge nicht zulassen

Angenommen, wir möchten einen bestimmten Beitrag von der Indizierung ausschließen, dann können wir dem Code folgende Zeilen hinzufügen.

Nicht zulassen: /yyyy/mm/post-url.html

Hier yyyy und mm bezieht sich auf die Veröffentlichung von Jahr und Monat der Post ist. Wenn wir beispielsweise im März 2013 einen Beitrag veröffentlicht haben, müssen wir das folgende Format verwenden.

Nicht zulassen: /2013/03/post-url.html

Um diese Aufgabe zu vereinfachen, können Sie einfach die Post-URL kopieren und den Blognamen von Anfang an entfernen.

Bestimmte Seite nicht zulassen

Wenn wir eine bestimmte Seite nicht zulassen müssen, können wir dieselbe Methode wie oben verwenden. Kopieren Sie einfach die Seiten-URL und entfernen Sie die Blog-Adresse, die ungefähr so aussieht:

Nicht zulassen: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Dieser Code bezieht sich auf die Sitemap unseres Blogs. Indem wir hier einen Sitemap-Link hinzufügen, optimieren wir einfach die Crawling-Rate unseres Blogs.

Das heißt, wenn die Webcrawler unsere robots.txt-Datei scannen, finden sie einen Pfad zu unserer Sitemap, auf der alle Links unserer veröffentlichten Beiträge vorhanden sind.

Webcrawler finden es einfach, alle unsere Beiträge zu crawlen.

Daher gibt es bessere Chancen, dass Webcrawler alle unsere Blog-Beiträge crawlen, ohne einen einzigen zu ignorieren.

Hinweis : Diese Sitemap informiert die Webcrawler nur über die letzten 25 Beiträge. Wenn Sie die Anzahl der Links in Ihrer Sitemap erhöhen möchten, ersetzen Sie die Standard-Sitemap durch eine unter einer. Es wird für die ersten 500 letzten Beiträge funktionieren.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Wenn Sie mehr als 500 veröffentlichte Beiträge in Ihrem Blog haben, können Sie zwei Sitemaps wie die folgenden verwenden:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- Ergebnisse = 1000

Hinzufügen von Custom Robots.Txt zu Blogger

Der Hauptteil dieses Tutorials ist nun das Hinzufügen von benutzerdefinierten robots.txt in Blogger. Im Folgenden finden Sie Schritte zum Hinzufügen.

Gehen Sie zu Ihrem Blogger-Blog.
Navigieren Sie zu Einstellungen >> Sucheinstellungen ›› Crawler und Indizierung ›› Benutzerdefinierte robots.txt ›› Bearbeiten ›› Ja
Fügen Sie nun Ihren robots.txt-Dateicode in das Feld ein.
Klicken Sie auf die Schaltfläche Änderungen speichern.
Du bist fertig!

Wie überprüfe ich meine Robots.txt-Datei?

Sie können diese Datei in Ihrem Blog überprüfen, indem Sie /robots.txt am Ende Ihrer Blog-URL im Webbrowser hinzufügen. Zum Beispiel:

http://www.yourblogurl.blogspot.com/ robots.txt

Sobald Sie die URL der robots.txt-Datei besuchen, wird der gesamte Code, den Sie verwenden, in Ihrer benutzerdefinierten robots.txt-Datei angezeigt.

Siehe Bild unten.

Letzte Worte!

Dies war das heutige vollständige Tutorial zum Hinzufügen einer benutzerdefinierten robots.txt-Datei in Blogger .

Ich habe mein Bestes getan, um dieses Tutorial so einfach und informativ wie möglich zu gestalten. Wenn Sie dennoch Zweifel oder Fragen haben, können Sie mich gerne im Kommentarbereich unten fragen.

Stellen Sie sicher, dass Sie keinen Code in Ihre benutzerdefinierten Einstellungen für robots.txt einfügen, ohne davon zu wissen. Bitten Sie mich einfach, Ihre Fragen zu beantworten. Ich werde dir alles im Detail erzählen.

Vielen Dank, dass Sie dieses Tutorial gelesen haben. Wenn es Ihnen gefallen hat, unterstützen Sie mich bitte, meine Worte zu verbreiten, indem Sie diesen Beitrag in Ihren Social-Media-Profilen teilen. Viel Spaß beim Bloggen!