Как добавить собственный файл Robots.txt в Blogger?
Опубликовано: 2020-11-10В одном из своих предыдущих постов я обсуждал настройки пользовательских тегов заголовков роботов для blogger.
Если вы читали этот пост, то я надеюсь, что вы, ребята, знаете о его важности в поисковом рейтинге.
Сегодня я вернулся с очень полезным и обязательным для ведения блогов термином Robots.txt.
В blogger он известен как Custom Robots.txt, что означает, что теперь вы можете настроить этот файл по своему усмотрению.
В сегодняшнем руководстве мы подробно обсудим этот термин и узнаем о его использовании и преимуществах. Я также расскажу, как добавить в blogger собственный файл robots.txt.
Итак, приступим к руководству.
Больше…
Что такое Robots.txt?
Robots.txt представляет собой текстовый файл , который содержит несколько строк простого кода.
Он сохраняется на веб-сайте или на сервере блога, которые инструктируют поисковые роботы о том, как индексировать и сканировать ваш блог в результатах поиска.
Это означает, что вы можете ограничить доступ к любой веб-странице в своем блоге для поисковых роботов, чтобы она не могла индексироваться в поисковых системах, таких как страница ярлыков вашего блога, демо-страница или любые другие страницы, которые не так важны для индексации.
Всегда помните, что поисковые роботы сканируют файл robots.txt перед сканированием любой веб-страницы.
Каждый блог, размещенный на blogger, имеет свой файл robots.txt по умолчанию, который выглядит примерно так:
Пользовательский агент: Mediapartners-Google
Запретить:
Пользовательский агент: *
Запретить: / поиск
Позволять: /
Карта сайта: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Объяснение
Этот код разделен на три части. Давайте сначала изучим каждый из них, после чего мы узнаем, как добавить собственный файл robots.txt в блоги blogspot.
Пользовательский агент: Mediapartners-Google
Этот код предназначен для роботов Google AdSense, которые помогают им размещать более качественную рекламу в вашем блоге. Либо вы используете Google AdSense в своем блоге, либо просто не оставляете его как есть.
Пользовательский агент: *
Это касается всех роботов, отмеченных звездочкой (*). В настройках по умолчанию ссылки ярлыков нашего блога ограничены индексированием поисковыми роботами, что означает, что веб-сканеры не будут индексировать ссылки на наши страницы ярлыков из-за кода ниже.
Запретить: / поиск
Это означает, что ссылки с поиском по ключевым словам сразу после доменного имени будут игнорироваться. См. Ниже пример, который представляет собой ссылку на страницу ярлыка с именем SEO.
http://www.bloggertipstricks.com/ search / label / SEO
И если мы удалим Disallow: / search из приведенного выше кода, сканеры получат доступ ко всему нашему блогу для индексации и сканирования всего его содержания и веб-страниц.
Здесь Allow: / относится к домашней странице, что означает, что поисковые роботы могут сканировать и индексировать домашнюю страницу нашего блога.
Запретить конкретный пост
Теперь предположим, что если мы хотим исключить конкретное сообщение из индексации, мы можем добавить в код следующие строки.
Запрещено: /yyyy/mm/post-url.html
Здесь гггг и мм относятся к году публикации и месяцу публикации соответственно. Например, если мы опубликовали сообщение в 2013 году в марте месяце, мы должны использовать следующий формат.
Disallow: /2013/03/post-url.html
Чтобы упростить эту задачу, вы можете просто скопировать URL-адрес публикации и удалить имя блога с самого начала.
Запретить определенную страницу
Если нам нужно запретить конкретную страницу, мы можем использовать тот же метод, что и выше. Просто скопируйте URL-адрес страницы и удалите из него адрес блога, который будет выглядеть примерно так:
Запретить: /p/page-url.html
Карта сайта: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Этот код ссылается на карту сайта нашего блога. Добавляя сюда ссылку на карту сайта, мы просто оптимизируем скорость сканирования нашего блога.
Означает, что всякий раз, когда поисковые роботы просматривают наш файл robots.txt, они находят путь к нашей карте сайта, где присутствуют все ссылки на наши опубликованные сообщения.
Сканеры легко просканируют все наши сообщения.
Следовательно, есть больше шансов, что поисковые роботы просканируют все сообщения нашего блога, не игнорируя ни одного.
Примечание . Эта карта сайта сообщает поисковым роботам только о последних 25 сообщениях. Если вы хотите увеличить количество ссылок в своей карте сайта, замените карту сайта по умолчанию на одну ниже. Он будет работать для первых 500 последних сообщений.
Карта сайта: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Если в вашем блоге опубликовано более 500 сообщений, вы можете использовать две карты сайта, как показано ниже:
Карта сайта: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Карта сайта: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- результаты = 1000
Добавление пользовательского файла Robots.Txt в Blogger
Теперь основная часть этого руководства - как добавить собственный файл robots.txt в blogger. Ниже приведены шаги по его добавлению.
- Зайдите в свой блог блогера.
- Перейдите в « Настройки» >> «Настройки поиска» ›› Сканеры и индексация ›› Пользовательский файл robots.txt ›› Редактировать ›› Да
- Теперь вставьте код своего файла robots.txt в это поле.
- Нажмите кнопку «Сохранить изменения».
- Вы сделали!
Как проверить файл Robots.txt?
Вы можете проверить этот файл в своем блоге, добавив /robots.txt в конец URL-адреса вашего блога в веб-браузере. Например:
http://www.yourblogurl.blogspot.com/ robots.txt
Как только вы перейдете по URL-адресу файла robots.txt, вы увидите весь код, который вы используете в своем пользовательском файле robots.txt.
См. Изображение ниже.
Заключительные слова!
Это было сегодняшнее полное руководство о том, как добавить собственный файл robots.txt в blogger .
Я изо всех сил старался сделать это руководство как можно более простым и информативным. Но все же, если у вас есть какие-либо сомнения или вопросы, не стесняйтесь спрашивать меня в разделе комментариев ниже.
Убедитесь, что вы не добавляете код в пользовательские настройки robots.txt, не зная об этом. Просто попросите меня разрешить ваши вопросы. Расскажу все подробно.
Спасибо, ребята, что прочитали этот урок. Если вам понравилось, пожалуйста, поддержите меня в распространении моих слов, поделившись этим сообщением в ваших профилях в социальных сетях. Удачного ведения блога!