如何在Blogger中添加自定义Robots.txt文件?

已发表: 2020-11-10

在我以前的一篇文章中,我讨论了博客的“自定义机器人标题标签设置”。

如果您阅读过该文章,那么希望大家知道它在搜索排名中的重要性。

今天,我回来了一个非常有用且必须注意的博客术语,即Robots.txt。

在Blogger中,它称为Custom Robots.txt,这意味着您现在可以根据自己的选择自定义此文件。

在今天的教程中,我们将深入讨论该术语,并了解其用法和优点。 我还将告诉您如何在Blogger中添加自定义robots.txt文件。

因此,让我们开始指南。

更多…

什么是Robots.txt?

robots.txt是一个文本文件,其中包含简单的几行代码。

它被保存在网站或博客的服务器上,该网站指示网络爬虫如何在搜索结果中对博客进行索引和爬网。

这意味着您可以通过网络搜寻器来限制博客上的任何网页,从而使其无法在搜索引擎中被索引,例如您的博客标签页面,演示页面或其他不那么重要的页面。

永远记住,搜寻搜寻器在搜寻任何网页之前都会扫描robots.txt文件。

托管在博客上的每个博客都有其默认的robots.txt文件,该文件如下所示:

用户代理:Mediapartners-Google

不允许:

用户代理: *

禁止:/搜索

允许:/

站点地图:http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

说明

此代码分为三个部分。 让我们先研究它们中的每一个,之后我们将学习如何在blogspot博客中添加自定义robots.txt文件。

用户代理:Mediapartners-Google

此代码适用于Google Adsense机器人,可帮助他们在您的博客上投放更好的广告。 您是在博客上使用Google Adsense还是直接保留原样。

用户代理: *

这适用于所有标有星号(*)的机器人。 在默认设置中,我们的博客的标签链接仅由搜索搜寻器索引,这意味着由于以下代码,网络搜寻器不会为我们的标签页面链接编制索引。

禁止:/搜索

这意味着仅在域名之后具有关键字搜索的链接将被忽略。 请参见以下示例,该示例是名为SEO的标签页面的链接。

http://www.bloggertipstricks.com/搜索/ label / SEO

而且,如果我们从上述代码中删除了Disallow:/ search ,那么爬虫将访问整个博客以对所有内容和网页进行索引和爬网。

这里的“允许”:/指的是主页,这意味着网络爬虫可以爬网和索引我们博客的主页。

禁止发表特定帖子

现在假设如果要从索引中排除特定的帖子,则可以在代码中添加以下几行。

禁止:/yyyy/mm/post-url.html

yyyymm分别是指发布的发布年份和发布月份。 例如,如果我们在三月份的2013年发布了一篇文章,那么我们必须使用以下格式。

禁止:/2013/03/post-url.html

为了简化此任务,您只需复制帖子URL并从开头删除博客名称。

禁止特定页面

如果需要禁止特定页面,则可以使用与上述相同的方法。 只需复制页面URL并从其中删除博客地址,该地址将类似于以下内容:

禁止:/p/page-url.html

站点地图:http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

此代码引用了我们博客的站点地图。 通过在此处添加站点地图链接,我们只是在优化博客的爬网速度。

意味着每当网络爬虫扫描我们的robots.txt文件时,他们都会在我们已发布的帖子的所有链接都存在的站点地图中找到一条路径。

网路搜寻器会很容易搜寻所有文章。

因此,网络爬虫更有可能爬网我们所有的博客文章而不会忽略任何一个。

注意:此站点地图只会将最近的25个帖子告诉网络爬虫。 如果您想增加站点地图中的链接数,请用以下一个替换默认站点地图。 它将适用于最近的前500个帖子。

站点地图:http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

如果您的博客中有500多个已发布的帖子,则可以使用以下两个站点地图:

站点地图:http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500站点地图:http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-结果= 1000

将自定义Robots.Txt添加到Blogger

现在,本教程的主要部分是如何在Blogger中添加自定义robots.txt。 因此,下面是添加它的步骤。

  1. 转到您的博客博客。
  2. 导航到设置>>搜索首选项››爬网程序和索引››自定义robots.txt ››编辑››是
  3. 现在,将您的robots.txt文件代码粘贴到框中。
  4. 单击保存更改按钮。
  5. 大功告成!

blogger custom robots txt

如何检查您的Robots.txt文件?

您可以通过在Web浏览器中博客URL的末尾添加/robots.txt来在博客上检查此文件。 例如:

http://www.yourblogurl.blogspot.com/ robots.txt

访问robots.txt文件的网址后,您将在自定义robots.txt文件中看到正在使用的完整代码。

见下图。

robots txt

最后的话!

这是有关如何在Blogger中添加自定义robots.txt文件的今天的完整教程。

我尽力使本教程尽可能简单且内容丰富。 但是,如果您有任何疑问或疑问,请随时在下面的评论部分中问我。

确保不要在不知道的情况下在自定义robots.txt设置中放置任何代码。 只需让我解决您的问题即可。 我会详细告诉您一切。

谢谢大家阅读本教程。 如果您喜欢它,那么请支持我,通过在您的社交媒体个人资料上分享此信息来传播我的话。 祝您博客愉快!