Como adicionar um arquivo Robots.txt personalizado no Blogger?
Publicados: 2020-11-10Em uma de minhas postagens anteriores, eu havia discutido as configurações de tags de cabeçalho de robôs personalizados para o blogger.
Se vocês leram esse post, espero que vocês estejam cientes de sua importância nos rankings de busca.
Hoje, estou de volta com um termo de blog muito útil e obrigatório que é Robots.txt.
No blogger é conhecido como Custom Robots.txt, o que significa que agora você pode personalizar este arquivo de acordo com sua escolha.
No tutorial de hoje, discutiremos esse termo em profundidade e conheceremos seu uso e benefícios. Também direi como adicionar um arquivo robots.txt personalizado no blogger.
Então, vamos começar o guia.
Mais…
O que é Robots.txt?
Robots.txt é um arquivo de texto que contém algumas linhas de código simples.
Ele é salvo no site ou servidor do blog, que instrui os rastreadores da web sobre como indexar e rastrear seu blog nos resultados da pesquisa.
Isso significa que você pode restringir qualquer página da web em seu blog de rastreadores da web para que ela não seja indexada em mecanismos de pesquisa, como a página de rótulos de seu blog, sua página de demonstração ou quaisquer outras páginas que não sejam tão importantes para serem indexadas.
Lembre-se sempre de que os rastreadores de pesquisa verificam o arquivo robots.txt antes de rastrear qualquer página da web.
Cada blog hospedado no blogger tem seu arquivo robots.txt padrão, que se parece com isto:
User-agent: Mediapartners-Google
Disallow:
Agente de usuário: *
Disallow: / search
Permitir: /
Mapa do site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Explicação
Este código está dividido em três seções. Vamos primeiro estudar cada um deles, depois aprenderemos como adicionar um arquivo robots.txt personalizado nos blogs do blogspot.
User-agent: Mediapartners-Google
Este código é para robôs Google Adsense que os ajudam a veicular melhores anúncios em seu blog. Ou você está usando o Google Adsense no seu blog ou simplesmente não o deixa como está.
Agente de usuário: *
Isso é para todos os robôs marcados com asterisco (*). Nas configurações padrão, os links de rótulos de nosso blog são restritos à indexação por rastreadores de pesquisa, o que significa que os rastreadores da web não indexarão nossos links de páginas de rótulos devido ao código abaixo.
Disallow: / search
Isso significa que os links com busca por palavra-chave logo após o nome do domínio serão ignorados. Veja o exemplo abaixo, que é um link da página do rótulo chamada SEO.
http://www.bloggertipstricks.com/ search / label / SEO
E se removermos Disallow: / search do código acima, os rastreadores acessarão todo o nosso blog para indexar e rastrear todo o seu conteúdo e páginas da web.
Aqui, Permitir: / refere-se à página inicial, o que significa que os rastreadores da web podem rastrear e indexar a página inicial do nosso blog.
Não permitir postagem específica
Agora, suponha que se desejamos excluir uma postagem específica da indexação, podemos adicionar as linhas abaixo no código.
Disallow: /yyyy/mm/post-url.html
Aqui, aaaa e mm referem-se ao ano e mês de publicação da postagem, respectivamente. Por exemplo, se publicamos uma postagem no ano de 2013 no mês de março, temos que usar o formato abaixo.
Disallow: /2013/03/post-url.html
Para facilitar essa tarefa, você pode simplesmente copiar o URL da postagem e remover o nome do blog desde o início.
Disallow Particular Page
Se precisarmos proibir uma página específica, podemos usar o mesmo método acima. Simplesmente copie o URL da página e remova o endereço do blog dela, que terá a seguinte aparência:
Disallow: /p/page-url.html
Mapa do site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Este código se refere ao mapa do site do nosso blog. Ao adicionar o link do mapa do site aqui, estamos simplesmente otimizando a taxa de rastreamento do nosso blog.
Significa que sempre que os rastreadores da web escanearem nosso arquivo robots.txt, eles encontrarão um caminho para nosso mapa do site onde todos os links de nossas postagens publicadas estão presentes.
Os rastreadores da Web acharão fácil rastrear todas as nossas postagens.
Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens do nosso blog sem ignorar nenhuma.
Nota : Este mapa do site informará apenas os rastreadores da web sobre as 25 postagens recentes. Se você quiser aumentar o número de links em seu mapa do site, substitua o mapa do site padrão por um abaixo de um. Funcionará com as primeiras 500 postagens recentes.
Mapa do site: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Se você tiver mais de 500 postagens publicadas em seu blog, poderá usar dois sitemaps como a seguir:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- resultados = 1000
Adicionando Robots.Txt personalizados ao Blogger
Agora, a parte principal deste tutorial é como adicionar o robots.txt personalizado no blogger. Abaixo estão as etapas para adicioná-lo.

- Vá para o seu blog do blogger.
- Navegue até Configurações >> Preferências de pesquisa ›› Rastreadores e indexação ›› robots.txt personalizado ›› Editar ›› Sim
- Agora cole o código do arquivo robots.txt na caixa.
- Clique no botão Salvar alterações.
- Você terminou!

- Salve
Como verificar o arquivo Robots.txt?
Você pode verificar esse arquivo no seu blog adicionando /robots.txt no final do URL do seu blog no navegador da web. Por exemplo:
http://www.yourblogurl.blogspot.com/ robots.txt
Depois de visitar o URL do arquivo robots.txt, você verá todo o código que está usando em seu arquivo robots.txt personalizado.
Veja a imagem abaixo.

- Salve
Palavras finais!
Este foi o tutorial completo de hoje sobre como adicionar um arquivo robots.txt personalizado no blogger .
Tentei o meu melhor para tornar este tutorial o mais simples e informativo possível. Mesmo assim, se você tiver alguma dúvida ou consulta, sinta-se à vontade para me perguntar na seção de comentários abaixo.
Certifique-se de não colocar nenhum código em suas configurações de robots.txt personalizado sem saber sobre isso. Simplesmente me peça para resolver suas dúvidas. Vou te contar tudo em detalhes.
Obrigado pessoal por ler este tutorial. Se você gostou, por favor, ajude-me a espalhar minhas palavras, compartilhando este post em seus perfis de mídia social. Feliz Blog!