搜索引擎優化的谷歌抓取預算,停止猜測! (真實信息在這裡)

已發表: 2021-07-13

如果您希望網站上的頁面快速索引,那麼您需要了解搜索引擎優化的抓取預算的含義。

它確實影響了所有大大小小的網站。 但通常,大型站點、存在技術錯誤的站點或具有獨特 URL 生成功能的站點確實需要在此註意。

可是等等!

我正在超越自己。 讓我們開始慢一點。

您需要了解的有關 SEO 抓取預算的所有信息

您需要了解的有關 SEO 抓取預算的所有信息

爬行預算的概念曾經是 SEO 之間的猜謎遊戲。 不過,多虧了 Google 的 Gary Illyes 最近發表的一篇文章,我們現在都掌握了更多信息。

在本文中,我們將介紹您需要了解的有關抓取預算的所有信息,並提供一些優化技巧。

什麼是抓取預算?

在您了解 SEO 抓取預算的概念之前,您首先需要熟悉另一個術語:Googlebot。

Googlebot 是自動代理的名稱,該代理會在您的網站上爬行以尋找要添加到其索引中的頁面。 您可以將其視為數字網絡衝浪者。

由於網絡上有數十億個頁面,Googlebot 每天每秒抓取它們是不切實際的。 這樣做會消耗寶貴的在線帶寬,導致網站性能變慢。

所以穀歌為每個網站分配了一個抓取預算。 該預算決定了 Googlebot 抓取網站以查找要編入索引的頁面的頻率。

Google 將抓取預算的任務定義如下:“優先抓取什麼、什麼時候抓取以及託管網站的服務器可以分配給抓取的資源量對於較大的網站或根據 URL 參數自動生成頁面的網站更為重要。 , 例如。”

為什麼抓取預算優化對 SEO 很重要?

這個問題的答案是基本而簡單的。 優化抓取預算以將頁面編入索引的效果越好,它在 Google 上的排名就越高。

確保如果您有一個大型網站,特別是電子商務,或者添加了很多頁面或有很多重定向頁面,您有足夠的抓取預算能力來處理它,這一點至關重要。

然而,這不應該是一個大問題,因為谷歌可以有效地抓取索引頁面,但這當然是需要注意的。

抓取速率限制

爬網速率限制與爬網預算略有不同。 它定義了 Googlebot 用來抓取網站的同時連接數以及它在獲取另一個頁面之前等待的時間。

請記住,谷歌是關於用戶體驗的。 其機器人使用爬網速率限制的原因是為了防止站點被自動化代理覆蓋到人類用戶無法在其瀏覽器上加載站點的程度。

更改抓取速度

以下是影響抓取速度的幾個因素:

  • 網站速度- 如果網站對 Googlebot 的響應很快,那麼 Google 將提高抓取限制率。 另一方面,谷歌會降低緩慢網站的抓取速度。
  • 在 Search Console 中設置– 網站管理員還可以在 Search Console 中設置抓取限制。 雖然他們無法提高抓取速度,但如果他們認為 Google 在他們的服務器上抓取過多,他們可以降低抓取速度。

請記住,雖然正常的抓取速度可能會更快地將網頁編入索引,但較高的抓取速度並不是排名因素。

抓取速度設置

抓取需求 – 搜索引擎優化的抓取預算

即使未達到抓取限制,Google 也可能會減少其機器人抓取的頁面數量。 機器人活動的減少稱為抓取需求的減少。

什麼影響抓取需求? 有幾件事:

  • 流行度– 更流行的頁面(即,它們在社交媒體上被大量分享並從其他網站接收鏈接)往往被更頻繁地抓取。
  • 陳舊-谷歌試圖保持的網址變得陳舊在其索引。

此外,站點範圍的事件(例如站點移動)可能會導致爬網需求增加。 這是因為 Google 需要使用新 URL 重新索引內容。

什麼影響抓取預算? – 搜索引擎優化的抓取預算

基本上,抓取預算是抓取速度和抓取需求的組合。 根據 Illyes 的說法,抓取預算是 Googlebot 可以並且想要抓取的網址數量。

幸運的是,Google 已經準確地確定了哪些因素會影響抓取預算。 以下是它們的列表,按重要性排列:

  • URL 參數– 通常情況下,基本 URL(例如,“http://mysite.com”)添加了參數(例如,“http://mysite.com?id=3”)返回完全相同頁。 這種設置可能會導致許多唯一的 URL 計入抓取預算,即使所有這些 URL 都返回相同的頁面。
  • 重複內容——在某些情況下,URL 可以在沒有請求參數的情況下完全唯一,並且仍然返回相同的內容。 這也會對抓取預算產生不利影響。
  • 軟錯誤頁面– 軟 404 錯誤頁面也會影響抓取預算。 幸運的是,它們也會在 Search Console 中報告。
  • 被黑客入侵的頁面- 被黑客攻擊的網站可能會發現他們的抓取預算有限。
  • 無限空間- 具有無限鏈接的網站(例如用戶可以點擊日、月或年的日曆)會發現 Googlebot 將其抓取預算浪費在可能不重要的鏈接上。
  • 低質量的內容——如果網站質量低劣,那麼谷歌很可能會限制抓取預算。

如何優化您的抓取預算

現在您已經熟悉了 SEO 的爬網預算的概念,是時候相應地優化您的網站了。 這裡有幾種方法可以做到這一點。

1. 使用免費工具

– Google Search Console 和 Bing 網站管理員工具都為您提供了大量有關可能對您的抓取預算產生不利影響的問題的信息。 請務必使用它們並為您正在監視的所有站點配置它們。

然後,不時檢查這些工具,看看您的網站是否遇到任何問題。 例如,如果 Search Console 報告您的某個網站存在一些軟 404 錯誤,請務必立即解決該問題。

請記住,Google 和 Microsoft 都希望您在網上取得成功。 這就是他們免費提供這些工具的原因。

2. 確保您的頁面可抓取

– 很容易利用現代技術的奇蹟,以至於 Googlebot 難以抓取您的網站。 抵制這種誘惑。

例如,像 AJAX(異步 JavaScript 和 XML)這樣的技術加載內容,這樣用戶就不必刷新頁面。 但是,Googlebot 可能無法訪問 AJAX 加載的內容。 這是一個超出 SEO 爬行預算的垃圾郵件的大主題,因此我們將其保存到另一篇文章中。 但基本上,你需要有一個 HTML 基礎。

此外,使用站點地圖並確保它始終是最新的。 幸運的是,像 WordPress 這樣的內容管理系統可以很容易地做到這一點。

3. 限制重定向

– 每次您網站上的一個頁面重定向到另一個頁面(使用 301 或 302 重定向)時,它都會佔用您抓取預算的一小部分。 這意味著如果您有很多重定向,則您的抓取預算可能會在 Googlebot 抓取您要編入索引的頁面之前耗盡。

4. 消除斷開的鏈接

– 如果您的網站上有很多損壞的鏈接,如果您想最大限度地提高抓取預算,則需要清理這些鏈接。

幸運的是,使用 Screaming Frog 之類的工具很容易找到損壞的鏈接。 此外,請務必不時查看 Google Search Console 和 Bing 網站管理員工具。

5. 避免使用 URL 參數

– 正如我們所看到的,您可以使用指向同一頁面的不同 URL 參數來消耗大量的抓取預算。 當然,您可以通過完全消除 URL 參數來消除該問題。

例如,如果您正在運行一個電子商務網站,您可以使用以下 URL 來顯示特定產品:http://mysite.com/shop?productId=5。 相反,將該 URL 更改為 http://mysite.com/shop/productId5 類似的內容。 這樣做時,您將至少消除一個請求參數。

如果您必須使用請求參數,請務必告訴 Google 如何在 Search Console 中處理這些參數。 只需單擊左側邊欄中的“抓取”,然後從出現的菜單中選擇“URL 參數”。 在該頁面上,您可以編輯您的建議並添加新參數,以便 Google 不會將重複頁面編入索引。 這將改變您的 SEO 抓取預算。 但是在這裡要非常小心,錯誤的參數可能會破壞您的網站。

6. 使用內部鏈接

– 可以說,當今 SEO 中最容易被忽視的方面之一是內部鏈接。 但請記住,通常最好在內部鏈接到您最有利可圖的頁面。 這樣,Googlebot 就會更頻繁地看到這些頁面。

7. 使用外部鏈接

– 最近的一項研究表明,外部鏈接與 Googlebot 抓取網站的次數之間存在相關性。 這就是為什麼讓外部鏈接指向您的網站很重要的原因。

介紹可以構建外部鏈接的所有方法超出了本文的範圍。 查看此反向鏈接策略的綜合列表以獲取更多信息。

8. 提高您的服務器速度

– 在選擇託管服務提供商之前進行一些售前研究非常重要。 那是因為您需要一個對服務器請求做出快速響應的主機。

您的服務器對網頁請求的響應速度越快,Googlebot 抓取的網頁就越多。

9. 緩存你的頁面

– 說到速度,緩存您的網頁是一個非常好的主意。 它們不僅會為用戶加載更快,還會為 Googlebot 加載更快,從而提高您網站的抓取速度限制。

幸運的是,使用 W3 Total Cache 插件或 Super Cache 插件可以輕鬆地在 WordPress 平台上緩存頁面。

10.優化頁面加載速度

– 一旦您將您的網站放在一個快速的服務器上並緩存了您的頁面,您可能仍然無法完成速度優化。 前往 PageSpeed Insights 工具,看看 Google 對您的頁面速度有何看法。

您可能會發現您的網站上仍然存在一些問題,導致您的網頁無法盡快加載。 例如,您的頁面上可能有阻止渲染的 JavaScript 或 CSS。

網站速度測試

幸運的是,Google 不僅會告訴您您的網站出了什麼問題,還會告訴您如何解決它發現的問題。

總結 SEO 的抓取預算

現在您對抓取預算、搜索引擎優化以及它如何影響您的網站有了更多的了解。

為什麼不今天花點時間制定一個行動計劃來優化您的抓取預算? 這對大型網站非常有幫助,並且通常會導致修復抓取之外的許多其他問題。