如何在Blogger中添加自定義Robots.txt文件？

已發表: 2020-11-10

在我以前的一篇文章中，我討論了博客的“自定義機器人標題標籤設置”。

如果您閱讀過該文章，那麼希望大家知道它在搜索排名中的重要性。

今天，我回來了一個非常有用且必須注意的博客術語，即Robots.txt。

在博客中，它稱為Custom Robots.txt，這意味著您現在可以根據自己的選擇自定義此文件。

在今天的教程中，我們將深入討論該術語，並了解其用法和優點。我還將告訴您如何在Blogger中添加自定義robots.txt文件。

因此，讓我們開始指南。

更多…

什麼是Robots.txt？

robots.txt是一個文本文件，其中包含簡單的幾行代碼。

它被保存在網站或博客的服務器上，該網站指示網絡爬蟲如何在搜索結果中對博客進行索引和爬網。

這意味著您可以通過網絡搜尋器來限制博客上的任何網頁，從而使其無法在搜索引擎中被索引，例如您的博客標籤頁面，演示頁面或其他不那麼重要的頁面。

永遠記住，搜尋搜尋器在搜尋任何網頁之前都會掃描robots.txt文件。

託管在博客上的每個博客都有其默認的robots.txt文件，該文件如下所示：

用戶代理：Mediapartners-Google

不允許：

用戶代理： *

禁止：/搜索

允許：/

站點地圖：http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

說明

此代碼分為三個部分。讓我們首先研究它們中的每一個，之後我們將學習如何在blogspot博客中添加自定義robots.txt文件。

用戶代理：Mediapartners-Google

此代碼適用於Google Adsense機器人，可幫助他們在您的博客上投放更好的廣告。您是在博客上使用Google Adsense還是直接保留它。

用戶代理： *

這適用於所有標有星號（*）的機器人。在默認設置中，我們的博客的標籤鏈接僅由搜索搜尋器索引，這意味著由於以下代碼，網絡搜尋器不會為我們的標籤頁面鏈接編制索引。

禁止：/搜索

這意味著僅在域名之後具有關鍵字搜索的鏈接將被忽略。請參見以下示例，該示例是名為SEO的標籤頁面的鏈接。

http://www.bloggertipstricks.com/搜索/ label / SEO

而且，如果我們從上述代碼中刪除了Disallow：/ search ，那麼爬蟲將訪問整個博客以對所有內容和網頁進行索引和爬網。

這裡的“允許”：/指的是主頁，這意味著網絡爬蟲可以爬網和索引我們博客的主頁。

禁止發表特定帖子

現在假設如果要從索引中排除特定帖子，則可以在代碼中添加以下幾行。

禁止：/yyyy/mm/post-url.html

yyyy和mm分別是指發布的發布年份和發布月份。例如，如果我們在三月份的2013年發布了一篇文章，那麼我們必須使用以下格式。

禁止：/2013/03/post-url.html

為了簡化此任務，您只需複制帖子URL並從開頭刪除博客名稱。

禁止特定頁面

如果需要禁止特定頁面，則可以使用與上述相同的方法。只需複制頁面URL並從其中刪除博客地址，該地址將類似於以下內容：

禁止：/p/page-url.html

站點地圖：http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

此代碼引用了我們博客的站點地圖。通過在此處添加站點地圖鏈接，我們只是在優化博客的爬網速度。

意味著每當網絡爬蟲掃描我們的robots.txt文件時，他們都會在我們的站點地圖上找到所有已發布帖子的鏈接的路徑。

網路搜尋器會很容易搜尋所有文章。

因此，網絡爬蟲更有可能爬網我們所有的博客文章而不會忽略任何一個。

注意：此站點地圖只會將最近的25條帖子告知網絡爬蟲。如果您要增加站點地圖中的鏈接數，請使用以下一個替換默認站點地圖。它將適用於最近的前500個帖子。

站點地圖：http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

如果您的博客中有500多個已發布的帖子，則可以使用以下兩個站點地圖：

站點地圖：http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500站點地圖：http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-結果= 1000

將自定義Robots.Txt添加到Blogger

現在，本教程的主要部分是如何在Blogger中添加自定義robots.txt。因此，下面是添加它的步驟。

轉到您的博客博客。
導航到設置>>搜索首選項››爬網程序和索引››自定義robots.txt ››編輯››是
現在，將您的robots.txt文件代碼粘貼到框中。
單擊保存更改按鈕。
大功告成！

如何檢查您的Robots.txt文件？

您可以通過在Web瀏覽器中博客URL的末尾添加/robots.txt來在博客上檢查此文件。例如：

http://www.yourblogurl.blogspot.com/ robots.txt

訪問robots.txt文件的網址後，您將在自定義robots.txt文件中看到正在使用的完整代碼。

見下圖。

最後的話！

這是有關如何在Blogger中添加自定義robots.txt文件的今天的完整教程。

我盡力使本教程盡可能簡單且內容豐富。但是，如果您有任何疑問或疑問，請隨時在下面的評論部分中問我。

確保不要在不知道的情況下在自定義robots.txt設置中放置任何代碼。只需讓我解決您的問題即可。我會詳細告訴您一切。

謝謝大家閱讀本教程。如果您喜歡它，那麼請支持我，通過在您的社交媒體個人資料上分享此信息來傳播我的話。祝您博客愉快！