Cum se adaugă fișierul Robots.txt personalizat în Blogger?

Publicat: 2020-11-10

Într-una dintre postările mele anterioare, am discutat despre setările personalizate ale etichetelor antetului roboților pentru blogger.

Dacă ați citit această postare, atunci sper să fiți conștienți de importanța sa în clasamentele de căutare.

Astăzi, m-am întors cu un termen de blogging foarte util și trebuie să fie conștient, care este Robots.txt.

În blogger este cunoscut sub numele de Custom Robots.txt, ceea ce înseamnă că acum puteți personaliza acest fișier în funcție de alegerea dvs.

În tutorialul de astăzi, vom discuta în profunzime acest termen și vom cunoaște utilizarea și beneficiile acestuia. De asemenea, vă voi spune cum să adăugați fișierul robots.txt personalizat în blogger.

Deci, să începem ghidul.

Mai Mult…

Ce este Robots.txt?

Robots.txt este un fișier text care conține câteva linii de cod simplu.

Este salvat pe site-ul web sau pe serverul blogului, care instruiește crawlerele web despre cum să indexeze și să acceseze cu crawlere blogul dvs. în rezultatele căutării.

Asta înseamnă că puteți restricționa orice pagină web de pe blogul dvs. de la crawlerele web, astfel încât să nu poată fi indexată în motoarele de căutare, cum ar fi pagina de etichete a blogului, pagina de demonstrație sau orice alte pagini care nu sunt la fel de importante pentru a fi indexate.

Amintiți-vă întotdeauna că crawlerele de căutare scanează fișierul robots.txt înainte de a accesa cu crawlere orice pagină web.

Fiecare blog găzduit pe blogger are fișierul său implicit robots.txt, care arată ca acesta:

Utilizator-agent: Mediapartners-Google

Nu permiteți:

Agent utilizator: *

Nu permiteți: / căutare

Permite: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explicaţie

Acest cod este împărțit în trei secțiuni. Să studiem mai întâi fiecare dintre ele, după care vom învăța cum să adăugăm fișierul robots.txt personalizat în blogurile blogspot.

Utilizator-agent: Mediapartners-Google

Acest cod este destinat roboților Google Adsense, care îi ajută să difuzeze anunțuri mai bune pe blogul dvs. Fie utilizați Google Adsense pe blogul dvs., fie nu lăsați-l așa cum este.

Agent utilizator: *

Acest lucru este valabil pentru toți roboții marcați cu asterisc (*). În setările implicite, linkurile de etichete ale blogului nostru sunt restricționate la indexarea de crawlerele de căutare, ceea ce înseamnă că crawlerele web nu vor indexa linkurile paginii de etichete din cauza codului de mai jos.

Nu permiteți: / căutare

Aceasta înseamnă că linkurile care au căutare de cuvinte cheie imediat după numele domeniului vor fi ignorate. Vedeți exemplul de mai jos care este un link de pagină de etichetă numit SEO.

http://www.bloggertipstricks.com/ search / label / SEO

Și dacă eliminăm Disallow: / search din codul de mai sus, crawlerele vor accesa întregul nostru blog pentru indexarea și accesarea cu crawlere a întregului conținut și a paginilor sale web.

Aici Permiteți: / se referă la pagina principală, ceea ce înseamnă că crawlerele web pot accesa cu crawlere și indexa pagina de start a blogului nostru.

Nu permiteți un post special

Acum, să presupunem că dacă dorim să excludem un anumit post de la indexare, putem adăuga mai jos linii în cod.

Nu permiteți: /yyyy/mm/post-url.html

Aici aaaa și mm se referă la anul de publicare și, respectiv, la luna postării. De exemplu, dacă am publicat o postare în anul 2013 în luna martie, atunci trebuie să folosim formatul de mai jos.

Nu permiteți: /2013/03/post-url.html

Pentru a ușura această sarcină, puteți copia pur și simplu adresa URL a postării și ștergeți numele blogului de la început.

Nu permiteți pagina specială

Dacă trebuie să interzicem o anumită pagină, atunci putem folosi aceeași metodă ca mai sus. Pur și simplu copiați adresa URL a paginii și eliminați adresa blogului din ea, care va arăta astfel:

Nu permiteți: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Acest cod se referă la sitemap-ul blogului nostru. Prin adăugarea unui link de sitemap aici, optimizăm pur și simplu rata de accesare cu crawlere a blogului nostru.

Înseamnă că ori de câte ori crawlerele web scanează fișierul nostru robots.txt, vor găsi o cale către sitemap-ul nostru, unde sunt prezentate toate linkurile postărilor noastre publicate.

Crawlerele web le vor fi ușor să acceseze cu crawlere toate postările noastre.

Prin urmare, există șanse mai mari ca crawlerele web să acceseze cu crawlere toate postările noastre de pe blog, fără a ignora una.

Notă : acest sitemap va informa numai crawlerelor web despre cele 25 de postări recente. Dacă doriți să măriți numărul de linkuri din sitemap-ul dvs., înlocuiți sitemap-ul implicit cu mai jos unul. Va funcționa pentru primele 500 de postări recente.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Dacă aveți peste 500 de postări publicate pe blogul dvs., puteți utiliza două sitemap-uri, cum ar fi mai jos:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- rezultate = 1000

Adăugarea de roboți personalizați. Text la Blogger

Acum partea principală a acestui tutorial este cum să adăugați robots.txt personalizat în blogger. Deci, mai jos sunt pași pentru ao adăuga.

  1. Accesați blogul dvs. blogger.
  2. Navigați la Setări >> Preferințe de căutare ›› Crawlerele și indexarea ›› Roboți personalizați.txt ›› Editare ›› Da
  3. Acum lipiți codul fișierului robots.txt în casetă.
  4. Faceți clic pe butonul Salvați modificările.
  5. Esti gata!

blogger custom robots txt
  • Salvați

Cum să vă verificați fișierul Robots.txt?

Puteți verifica acest fișier pe blogul dvs. adăugând /robots.txt la sfârșitul URL-ului blogului dvs. în browserul web. De exemplu:

http://www.yourblogurl.blogspot.com/ robots.txt

După ce accesați adresa URL a fișierului robots.txt, veți vedea întregul cod pe care îl utilizați în fișierul dvs. personalizat robots.txt.

Vedeți imaginea de mai jos.

robots txt
  • Salvați

Cuvinte finale!

Acesta a fost tutorialul complet de astăzi despre cum să adăugați fișierul robots.txt personalizat în blogger .

Am încercat din răsputeri să fac acest tutorial cât mai simplu și informativ posibil. Dar totuși, dacă aveți vreo îndoială sau întrebare, atunci nu ezitați să mă întrebați în secțiunea de comentarii de mai jos.

Asigurați-vă că nu introduceți niciun cod în setările dvs. personalizate robots.txt fără să știți despre el. Pur și simplu cereți-mi să vă rezolv întrebările. Îți voi spune totul în detaliu.

Mulțumesc băieți pentru că ați citit acest tutorial. Dacă ți-a plăcut, atunci te rog să mă sprijini să-mi răspândesc cuvintele împărtășind această postare pe profilurile tale de socializare Blog fericit!