Como adicionar um arquivo Robots.txt personalizado no Blogger?

Publicados: 2020-11-10

Em uma de minhas postagens anteriores, eu havia discutido as configurações de tags de cabeçalho de robôs personalizados para o blogger.

Se vocês leram esse post, espero que vocês estejam cientes de sua importância nos rankings de busca.

Hoje, estou de volta com um termo de blog muito útil e obrigatório que é Robots.txt.

No blogger é conhecido como Custom Robots.txt, o que significa que agora você pode personalizar este arquivo de acordo com sua escolha.

No tutorial de hoje, discutiremos esse termo em profundidade e conheceremos seu uso e benefícios. Também direi como adicionar um arquivo robots.txt personalizado no blogger.

Então, vamos começar o guia.

Mais…

O que é Robots.txt?

Robots.txt é um arquivo de texto que contém algumas linhas de código simples.

Ele é salvo no site ou servidor do blog, que instrui os rastreadores da web sobre como indexar e rastrear seu blog nos resultados da pesquisa.

Isso significa que você pode restringir qualquer página da web em seu blog de rastreadores da web para que ela não seja indexada em mecanismos de pesquisa, como a página de rótulos de seu blog, sua página de demonstração ou quaisquer outras páginas que não sejam tão importantes para serem indexadas.

Lembre-se sempre de que os rastreadores de pesquisa verificam o arquivo robots.txt antes de rastrear qualquer página da web.

Cada blog hospedado no blogger tem seu arquivo robots.txt padrão, que se parece com isto:

User-agent: Mediapartners-Google

Disallow:

Agente de usuário: *

Disallow: / search

Permitir: /

Mapa do site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explicação

Este código está dividido em três seções. Vamos primeiro estudar cada um deles, depois aprenderemos como adicionar um arquivo robots.txt personalizado nos blogs do blogspot.

User-agent: Mediapartners-Google

Este código é para robôs Google Adsense que os ajudam a veicular melhores anúncios em seu blog. Ou você está usando o Google Adsense no seu blog ou simplesmente não o deixa como está.

Agente de usuário: *

Isso é para todos os robôs marcados com asterisco (*). Nas configurações padrão, os links de rótulos de nosso blog são restritos à indexação por rastreadores de pesquisa, o que significa que os rastreadores da web não indexarão nossos links de páginas de rótulos devido ao código abaixo.

Disallow: / search

Isso significa que os links com busca por palavra-chave logo após o nome do domínio serão ignorados. Veja o exemplo abaixo, que é um link da página do rótulo chamada SEO.

http://www.bloggertipstricks.com/ search / label / SEO

E se removermos Disallow: / search do código acima, os rastreadores acessarão todo o nosso blog para indexar e rastrear todo o seu conteúdo e páginas da web.

Aqui, Permitir: / refere-se à página inicial, o que significa que os rastreadores da web podem rastrear e indexar a página inicial do nosso blog.

Não permitir postagem específica

Agora, suponha que se desejamos excluir uma postagem específica da indexação, podemos adicionar as linhas abaixo no código.

Disallow: /yyyy/mm/post-url.html

Aqui, aaaa e mm referem-se ao ano e mês de publicação da postagem, respectivamente. Por exemplo, se publicamos uma postagem no ano de 2013 no mês de março, temos que usar o formato abaixo.

Disallow: /2013/03/post-url.html

Para facilitar essa tarefa, você pode simplesmente copiar o URL da postagem e remover o nome do blog desde o início.

Disallow Particular Page

Se precisarmos proibir uma página específica, podemos usar o mesmo método acima. Simplesmente copie o URL da página e remova o endereço do blog dela, que terá a seguinte aparência:

Disallow: /p/page-url.html

Mapa do site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Este código se refere ao mapa do site do nosso blog. Ao adicionar o link do mapa do site aqui, estamos simplesmente otimizando a taxa de rastreamento do nosso blog.

Significa que sempre que os rastreadores da web escanearem nosso arquivo robots.txt, eles encontrarão um caminho para nosso mapa do site onde todos os links de nossas postagens publicadas estão presentes.

Os rastreadores da Web acharão fácil rastrear todas as nossas postagens.

Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens do nosso blog sem ignorar nenhuma.

Nota : Este mapa do site informará apenas os rastreadores da web sobre as 25 postagens recentes. Se você quiser aumentar o número de links em seu mapa do site, substitua o mapa do site padrão por um abaixo de um. Funcionará com as primeiras 500 postagens recentes.

Mapa do site: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Se você tiver mais de 500 postagens publicadas em seu blog, poderá usar dois sitemaps como a seguir:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- resultados = 1000

Adicionando Robots.Txt personalizados ao Blogger

Agora, a parte principal deste tutorial é como adicionar o robots.txt personalizado no blogger. Abaixo estão as etapas para adicioná-lo.

  1. Vá para o seu blog do blogger.
  2. Navegue até Configurações >> Preferências de pesquisa ›› Rastreadores e indexação ›› robots.txt personalizado ›› Editar ›› Sim
  3. Agora cole o código do arquivo robots.txt na caixa.
  4. Clique no botão Salvar alterações.
  5. Você terminou!

blogger custom robots txt
  • Salve 

Como verificar o arquivo Robots.txt?

Você pode verificar esse arquivo no seu blog adicionando /robots.txt no final do URL do seu blog no navegador da web. Por exemplo:

http://www.yourblogurl.blogspot.com/ robots.txt

Depois de visitar o URL do arquivo robots.txt, você verá todo o código que está usando em seu arquivo robots.txt personalizado.

Veja a imagem abaixo.

robots txt
  • Salve 

Palavras finais!

Este foi o tutorial completo de hoje sobre como adicionar um arquivo robots.txt personalizado no blogger .

Tentei o meu melhor para tornar este tutorial o mais simples e informativo possível. Mesmo assim, se você tiver alguma dúvida ou consulta, sinta-se à vontade para me perguntar na seção de comentários abaixo.

Certifique-se de não colocar nenhum código em suas configurações de robots.txt personalizado sem saber sobre isso. Simplesmente me peça para resolver suas dúvidas. Vou te contar tudo em detalhes.

Obrigado pessoal por ler este tutorial. Se você gostou, por favor, ajude-me a espalhar minhas palavras, compartilhando este post em seus perfis de mídia social. Feliz Blog!