¿Cómo agregar un archivo Robots.txt personalizado en Blogger?

En una de mis publicaciones anteriores, hablé sobre la configuración de etiquetas de encabezado de robots personalizados para blogger.

Si han leído esa publicación, espero que sepan de su importancia en los rankings de búsqueda.

Hoy, estoy de vuelta con un término de blogs muy útil y imprescindible que es Robots.txt.

En Blogger se conoce como Custom Robots.txt, lo que significa que ahora puede personalizar este archivo de acuerdo con su elección.

En el tutorial de hoy, analizaremos este término en profundidad y conoceremos su uso y beneficios. También te diré cómo agregar un archivo robots.txt personalizado en Blogger.

Así que comencemos la guía.

Más…

¿Qué es Robots.txt?

Robots.txt es un archivo de texto que contiene pocas líneas de código simple.

Se guarda en el sitio web o en el servidor del blog, que indica a los rastreadores web cómo indexar y rastrear su blog en los resultados de búsqueda.

Eso significa que puede restringir cualquier página web en su blog de los rastreadores web para que no se pueda indexar en motores de búsqueda como la página de etiquetas de su blog, su página de demostración o cualquier otra página que no sea tan importante para ser indexada.

Recuerde siempre que los rastreadores de búsqueda escanean el archivo robots.txt antes de rastrear cualquier página web.

Cada blog alojado en Blogger tiene su archivo robots.txt predeterminado, que se parece a esto:

Usuario-agente: Mediapartners-Google

Rechazar:

Agente de usuario: *

No permitir: / búsqueda

Permitir: /

Mapa del sitio: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explicación

Este código se divide en tres secciones. Primero estudiemos cada uno de ellos, luego aprenderemos cómo agregar un archivo robots.txt personalizado en blogs de blogspot.

Usuario-agente: Mediapartners-Google

Este código es para robots de Google Adsense que les ayudan a ofrecer mejores anuncios en su blog. O estás usando Google Adsense en tu blog o simplemente no lo dejas como está.

Agente de usuario: *

Esto es para todos los robots marcados con asterisco (*). En la configuración predeterminada, los enlaces de etiquetas de nuestro blog están restringidos para ser indexados por rastreadores de búsqueda, lo que significa que los rastreadores web no indexarán los enlaces de nuestra página de etiquetas debido al código siguiente.

No permitir: / búsqueda

Eso significa que los enlaces que tienen una búsqueda por palabra clave justo después del nombre de dominio serán ignorados. Vea el ejemplo a continuación que es un enlace de la página de etiquetas denominada SEO.

http://www.bloggertipstricks.com/ search / label / SEO

Y si eliminamos Disallow: / search del código anterior, los rastreadores accederán a todo nuestro blog para indexar y rastrear todo su contenido y páginas web.

Aquí Permitir: / se refiere a la página de inicio, lo que significa que los rastreadores web pueden rastrear e indexar la página de inicio de nuestro blog.

No permitir publicación en particular

Ahora suponga que si queremos excluir una publicación en particular de la indexación, podemos agregar las siguientes líneas en el código.

No permitir: /yyyy/mm/post-url.html

Aquí yyyy y mm se refieren al año y mes de publicación de la publicación, respectivamente. Por ejemplo, si publicamos una publicación en el año 2013 en el mes de marzo, entonces tenemos que usar el siguiente formato.

No permitir: /2013/03/post-url.html

Para facilitar esta tarea, simplemente puede copiar la URL de la publicación y eliminar el nombre del blog desde el principio.

No permitir una página particular

Si necesitamos rechazar una página en particular, podemos usar el mismo método que el anterior. Simplemente copie la URL de la página y elimine la dirección del blog, que se verá así:

No permitir: /p/page-url.html

Mapa del sitio: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Este código se refiere al mapa del sitio de nuestro blog. Al agregar el enlace del mapa del sitio aquí, simplemente estamos optimizando la velocidad de rastreo de nuestro blog.

Significa que cada vez que los rastreadores web escanean nuestro archivo robots.txt, encontrarán una ruta a nuestro mapa del sitio donde se encuentran todos los enlaces de nuestras publicaciones publicadas.

A los rastreadores web les resultará fácil rastrear todas nuestras publicaciones.

Por lo tanto, hay más posibilidades de que los rastreadores web rastreen todas las publicaciones de nuestro blog sin ignorar una sola.

Nota : Este mapa del sitio solo informará a los rastreadores web sobre las últimas 25 publicaciones. Si desea aumentar la cantidad de enlaces en su mapa del sitio, reemplace el mapa del sitio predeterminado con el siguiente. Funcionará para las primeras 500 publicaciones recientes.

Mapa del sitio: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Si tiene más de 500 publicaciones publicadas en su blog, puede usar dos mapas de sitio como a continuación:

Mapa del sitio: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Mapa del sitio: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- resultados = 1000

Adición de Robots.Txt personalizados a Blogger

Ahora, la parte principal de este tutorial es cómo agregar un archivo robots.txt personalizado en Blogger. Así que a continuación se muestran los pasos para agregarlo.

1. Ve a tu blog de blogger.
2. Vaya a Configuración >> Preferencias de búsqueda ›› Rastreadores e indexación ›› robots.txt personalizado ›› Editar ›› Sí
3. Ahora pegue el código del archivo robots.txt en el cuadro.
4. Haga clic en el botón Guardar cambios.
5. ¡Estás listo!

• Salvar

¿Cómo comprobar su archivo Robots.txt?

Puede consultar este archivo en su blog agregando /robots.txt al final de la URL de su blog en el navegador web. Por ejemplo:

http://www.yourblogurl.blogspot.com/ robots.txt

Una vez que visite la URL del archivo robots.txt, verá el código completo que está utilizando en su archivo robots.txt personalizado.

Vea la imagen de abajo.

• Salvar

¡Ultimas palabras!

Este fue el tutorial completo de hoy sobre cómo agregar un archivo robots.txt personalizado en Blogger .

Hice todo lo posible para que este tutorial sea lo más simple e informativo posible. Pero aún así, si tiene alguna duda o consulta, no dude en preguntarme en la sección de comentarios a continuación.

Asegúrese de no poner ningún código en su configuración personalizada de robots.txt sin saberlo. Simplemente pregúntame para resolver tus dudas. Te lo contaré todo en detalle.

Gracias a todos por leer este tutorial. Si te gustó, por favor apóyame para difundir mis palabras compartiendo esta publicación en tus perfiles de redes sociales. ¡Feliz Blogging!