Come aggiungere un file Robots.txt personalizzato in Blogger?

In uno dei miei post precedenti, avevo discusso delle impostazioni dei tag di intestazione dei robot personalizzati per blogger.

Se avete letto quel post, spero che voi ragazzi siate consapevoli della sua importanza nelle classifiche di ricerca.

Oggi sono tornato con un termine di blogging molto utile e consapevole che è Robots.txt.

In blogger è noto come Custom Robots.txt, il che significa che ora puoi personalizzare questo file in base alla tua scelta.

Nel tutorial di oggi, discuteremo questo termine in profondità e ne conosceremo l'uso e i vantaggi. Ti dirò anche come aggiungere il file robots.txt personalizzato in blogger.

Quindi iniziamo la guida.

Di Più…

Cos'è Robots.txt?

Robots.txt è un file di testo che contiene poche righe di codice semplice.

Viene salvato sul sito web o sul server del blog che istruisce i web crawler su come indicizzare e scansionare il tuo blog nei risultati di ricerca.

Ciò significa che puoi limitare qualsiasi pagina web sul tuo blog dai web crawler in modo che non possa essere indicizzata nei motori di ricerca come la pagina delle etichette del tuo blog, la tua pagina demo o altre pagine che non sono così importanti da essere indicizzate.

Ricorda sempre che i crawler di ricerca eseguono la scansione del file robots.txt prima di eseguire la scansione di qualsiasi pagina web.

Ogni blog ospitato su blogger ha il suo file robots.txt predefinito che assomiglia a questo:

Agente utente: Mediapartners-Google

Non consentire:

Agente utente: *

Non consentire: / ricerca

Permettere: /

Mappa del sito: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Spiegazione

Questo codice è diviso in tre sezioni. Studiamo prima ciascuno di essi, dopodiché impareremo come aggiungere il file robots.txt personalizzato nei blog di blogspot.

Agente utente: Mediapartners-Google

Questo codice è per i robot di Google Adsense che li aiutano a offrire annunci migliori sul tuo blog. O stai usando Google Adsense sul tuo blog o semplicemente non lo lasci così com'è.

Agente utente: *

Questo è per tutti i robot contrassegnati da asterisco (*). Nelle impostazioni predefinite i link delle etichette del nostro blog sono limitati all'indicizzazione dei crawler di ricerca, il che significa che i web crawler non indicizzeranno i link delle nostre pagine delle etichette a causa del codice sottostante.

Non consentire: / ricerca

Ciò significa che i collegamenti con ricerca per parola chiave subito dopo il nome di dominio verranno ignorati. Vedi sotto l'esempio che è un collegamento della pagina dell'etichetta denominata SEO.

http://www.bloggertipstricks.com/ search / label / SEO

E se rimuoviamo Disallow: / search dal codice sopra, i crawler accederanno al nostro intero blog per indicizzare e sottoporre a scansione tutti i suoi contenuti e le pagine web.

Qui Consenti: / si riferisce alla home page, il che significa che i web crawler possono eseguire la scansione e indicizzare la home page del nostro blog.

Non consentire post particolari

Supponiamo ora di voler escludere un particolare post dall'indicizzazione, allora possiamo aggiungere le righe sottostanti nel codice.

Disallow: /yyyy/mm/post-url.html

Qui yyyy e mm si riferiscono rispettivamente all'anno di pubblicazione e al mese del post. Ad esempio, se abbiamo pubblicato un post nell'anno 2013 nel mese di marzo, dobbiamo utilizzare il formato seguente.

Disallow: /2013/03/post-url.html

Per semplificare questa operazione, puoi semplicemente copiare l'URL del post e rimuovere il nome del blog dall'inizio.

Non consentire una pagina particolare

Se dobbiamo disabilitare una particolare pagina, possiamo usare lo stesso metodo di cui sopra. Copia semplicemente l'URL della pagina e rimuovi l'indirizzo del blog da esso che avrà un aspetto simile a questo:

Disallow: /p/page-url.html

Mappa del sito: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Questo codice fa riferimento alla mappa del sito del nostro blog. Aggiungendo qui il link alla mappa del sito, stiamo semplicemente ottimizzando la velocità di scansione del nostro blog.

Significa che ogni volta che i web crawler scansionano il nostro file robots.txt troveranno un percorso alla nostra mappa del sito in cui sono presenti tutti i link dei nostri post pubblicati.

I web crawler troveranno facile eseguire la scansione di tutti i nostri post.

Quindi, ci sono maggiori possibilità che i web crawler eseguano la scansione di tutti i post del nostro blog senza ignorarne uno solo.

Nota : questa mappa del sito comunicherà ai web crawler solo i 25 post recenti. Se desideri aumentare il numero di link nella tua mappa del sito, sostituisci la mappa del sito predefinita con uno sotto. Funzionerà per i primi 500 post recenti.

Mappa del sito: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Se hai più di 500 post pubblicati nel tuo blog, puoi utilizzare due Sitemap come di seguito:

Mappa del sito: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- risultati = 1000

Aggiunta di Robots.Txt personalizzato a Blogger

Ora la parte principale di questo tutorial è come aggiungere robots.txt personalizzato in blogger. Quindi di seguito sono riportati i passaggi per aggiungerlo.

1. Vai al tuo blog di blogger.
2. Vai a Impostazioni >> Preferenze di ricerca ›› Crawler e indicizzazione ›› Robots.txt personalizzato ›› Modifica ›› Sì
3. Ora incolla il codice del file robots.txt nella casella.
4. Fare clic sul pulsante Salva modifiche.
5. Hai fatto!

• Salva

Come controllare il tuo file Robots.txt?

Puoi controllare questo file sul tuo blog aggiungendo /robots.txt alla fine dell'URL del tuo blog nel browser web. Per esempio:

http://www.yourblogurl.blogspot.com/ robots.txt

Dopo aver visitato l'URL del file robots.txt, vedrai l'intero codice che stai utilizzando nel tuo file robots.txt personalizzato.

Vedi l'immagine sotto.

• Salva

Parole finali!

Questo è stato il tutorial completo di oggi su come aggiungere file robots.txt personalizzato in blogger .

Ho fatto del mio meglio per rendere questo tutorial il più semplice e informativo possibile. Tuttavia, se hai qualche dubbio o domanda, sentiti libero di chiedermelo nella sezione commenti qui sotto.

Assicurati di non inserire alcun codice nelle impostazioni del file robots.txt personalizzato senza esserne a conoscenza. Chiedimi semplicemente di risolvere le tue domande. Ti racconto tutto in dettaglio.

Grazie ragazzi per aver letto questo tutorial. Se ti è piaciuto, aiutami a diffondere le mie parole condividendo questo post sui tuoi profili di social media. Buon blogging!