搜索引擎优化的谷歌抓取预算，停止猜测！ （真实信息在这里）

如果您希望网站上的页面快速索引，那么您需要了解搜索引擎优化的抓取预算的含义。

它确实影响了所有大大小小的网站。 但通常，大型站点、存在技术错误的站点或具有独特 URL 生成功能的站点确实需要在此注意。

可是等等！

我正在超越自己。 让我们开始慢一点。

您需要了解的有关 SEO 抓取预算的所有信息

爬行预算的概念曾经是 SEO 之间的猜谜游戏。 不过，多亏了 Google 的 Gary Illyes 最近发表的一篇文章，我们现在都掌握了更多信息。

在本文中，我们将介绍您需要了解的有关抓取预算的所有信息，并提供一些优化技巧。

什么是抓取预算？

在您了解 SEO 抓取预算的概念之前，您首先需要熟悉另一个术语：Googlebot。

Googlebot 是自动代理的名称，该代理会在您的网站上爬行以寻找要添加到其索引中的页面。 您可以将其视为数字网络冲浪者。

由于网络上有数十亿个页面，Googlebot 每天每秒抓取它们是不切实际的。 这样做会消耗宝贵的在线带宽，导致网站性能变慢。

所以谷歌为每个网站分配了一个抓取预算。 该预算决定了 Googlebot 抓取网站以查找要编入索引的页面的频率。

Google 将抓取预算的任务定义如下：“优先抓取什么、什么时候抓取以及托管网站的服务器可以分配给抓取的资源量对于较大的网站或根据 URL 参数自动生成页面的网站更为重要。 ， 例如。”

为什么抓取预算优化对 SEO 很重要？

这个问题的答案是基本而简单的。 优化抓取预算以将页面编入索引的效果越好，它在 Google 上的排名就越高。

确保如果您有一个大型网站，特别是电子商务，或者添加了很多页面或有很多重定向页面，您有足够的抓取预算能力来处理它，这一点至关重要。

然而，这不应该是一个大问题，因为谷歌可以有效地抓取索引页面，但这当然是需要注意的。

抓取速率限制

爬网速率限制与爬网预算略有不同。 它定义了 Googlebot 用来抓取网站的同时连接数以及它在获取另一个页面之前等待的时间。

请记住，谷歌是关于用户体验的。 其机器人使用爬网速率限制的原因是为了防止站点被自动化代理覆盖到人类用户无法在其浏览器上加载站点的程度。

以下是影响抓取速度的几个因素：

• 网站速度- 如果网站对 Googlebot 的响应很快，那么 Google 将提高抓取限制率。 另一方面，谷歌会降低缓慢网站的抓取速度。
• 在 Search Console 中设置– 网站管理员还可以在 Search Console 中设置抓取限制。 虽然他们无法提高抓取速度，但如果他们认为 Google 在他们的服务器上抓取过多，他们可以降低抓取速度。

请记住，虽然正常的抓取速度可能会更快地将网页编入索引，但较高的抓取速度并不是排名因素。

抓取需求 – 搜索引擎优化的抓取预算

即使未达到抓取限制，Google 也可能会减少其机器人抓取的页面数量。 机器人活动的减少称为抓取需求的减少。

什么影响抓取需求？ 有几件事：

• 流行度– 更流行的页面（即，它们在社交媒体上被大量分享并从其他网站接收链接）往往被更频繁地抓取。
• 陈旧-谷歌试图保持的网址变得陈旧在其索引。

此外，站点范围的事件（例如站点移动）可能会导致爬网需求增加。 这是因为 Google 需要使用新 URL 重新索引内容。

什么影响抓取预算？ – 搜索引擎优化的抓取预算

基本上，抓取预算是抓取速度和抓取需求的组合。 根据 Illyes 的说法，抓取预算是 Googlebot 可以并且想要抓取的网址数量。

幸运的是，Google 已经准确地确定了哪些因素会影响抓取预算。 以下是它们的列表，按重要性排列：

• URL 参数– 通常情况下，基本 URL（例如，“http://mysite.com”）添加了参数（例如，“http://mysite.com?id=3”）返回完全相同页。 这种设置可能会导致许多唯一的 URL 计入抓取预算，即使所有这些 URL 都返回相同的页面。
• 重复内容——在某些情况下，URL 可以在没有请求参数的情况下完全唯一，并且仍然返回相同的内容。 这也会对抓取预算产生不利影响。
• 软错误页面– 软 404 错误页面也会影响抓取预算。 幸运的是，它们也会在 Search Console 中报告。
• 被黑客入侵的页面- 被黑客攻击的网站可能会发现他们的抓取预算有限。
• 无限空间- 具有无限链接的网站（例如用户可以点击日、月或年的日历）会发现 Googlebot 将其抓取预算浪费在可能不重要的链接上。
• 低质量的内容——如果网站质量低劣，那么谷歌很可能会限制抓取预算。

如何优化您的抓取预算

现在您已经熟悉了 SEO 的爬网预算的概念，是时候相应地优化您的网站了。 这里有几种方法可以做到这一点。

1. 使用免费工具

– Google Search Console 和 Bing 网站管理员工具都为您提供了大量有关可能对您的抓取预算产生不利影响的问题的信息。 请务必使用它们并为您正在监视的所有站点配置它们。

然后，不时检查这些工具，看看您的网站是否遇到任何问题。 例如，如果 Search Console 报告您的某个网站存在一些软 404 错误，请务必立即解决该问题。

请记住，Google 和 Microsoft 都希望您在网上取得成功。 这就是他们免费提供这些工具的原因。

2. 确保您的页面可抓取

– 很容易利用现代技术的奇迹，以至于 Googlebot 难以抓取您的网站。 抵制这种诱惑。

例如，像 AJAX（异步 JavaScript 和 XML）这样的技术加载内容，这样用户就不必刷新页面。 但是，Googlebot 可能无法访问 AJAX 加载的内容。 这是一个超出 SEO 爬行预算的垃圾邮件的大主题，因此我们将其保存到另一篇文章中。 但基本上，你需要有一个 HTML 基础。

此外，使用站点地图并确保它始终是最新的。 幸运的是，像 WordPress 这样的内容管理系统可以很容易地做到这一点。

3. 限制重定向

– 每次您网站上的一个页面重定向到另一个页面（使用 301 或 302 重定向）时，它都会占用您抓取预算的一小部分。 这意味着如果您有很多重定向，则您的抓取预算可能会在 Googlebot 抓取您要编入索引的页面之前耗尽。

4. 消除断开的链接

– 如果您的网站上有很多损坏的链接，如果您想最大限度地提高抓取预算，则需要清理这些链接。

幸运的是，使用 Screaming Frog 之类的工具很容易找到损坏的链接。 此外，请务必不时查看 Google Search Console 和 Bing 网站管理员工具。

5. 避免使用 URL 参数

– 正如我们所看到的，您可以使用指向同一页面的不同 URL 参数来消耗大量的抓取预算。 当然，您可以通过完全消除 URL 参数来消除该问题。

例如，如果您正在运行一个电子商务网站，您可以使用以下 URL 来显示特定产品：http://mysite.com/shop?productId=5。 相反，将该 URL 更改为 http://mysite.com/shop/productId5 类似的内容。 这样做时，您将至少消除一个请求参数。

如果您必须使用请求参数，请务必告诉 Google 如何在 Search Console 中处理这些参数。 只需单击左侧边栏中的“抓取”，然后从出现的菜单中选择“URL 参数”。 在该页面上，您可以编辑您的建议并添加新参数，以便 Google 不会将重复页面编入索引。 这将改变您的 SEO 抓取预算。 但是在这里要非常小心，错误的参数可能会破坏您的网站。

6. 使用内部链接

– 可以说，当今 SEO 中最容易被忽视的方面之一是内部链接。 但请记住，通常最好在内部链接到您最有利可图的页面。 这样，Googlebot 就会更频繁地看到这些页面。

7. 使用外部链接

– 最近的一项研究表明，外部链接与 Googlebot 抓取网站的次数之间存在相关性。 这就是为什么让外部链接指向您的网站很重要的原因。

介绍可以构建外部链接的所有方法超出了本文的范围。 查看此反向链接策略的综合列表以获取更多信息。

8. 提高您的服务器速度

– 在选择托管服务提供商之前进行一些售前研究非常重要。 那是因为您需要一个对服务器请求做出快速响应的主机。

您的服务器对网页请求的响应速度越快，Googlebot 抓取的网页就越多。

9. 缓存你的页面

– 说到速度，缓存您的网页是一个非常好的主意。 它们不仅会为用户加载更快，还会为 Googlebot 加载更快，从而提高您网站的抓取速度限制。

幸运的是，使用 W3 Total Cache 插件或 Super Cache 插件可以轻松地在 WordPress 平台上缓存页面。

10.优化页面加载速度

– 一旦您将您的网站放在一个快速的服务器上并缓存了您的页面，您可能仍然无法完成速度优化。 前往 PageSpeed Insights 工具，看看 Google 对您的页面速度有何看法。

您可能会发现您的网站上仍然存在一些问题，导致您的网页无法尽快加载。 例如，您的页面上可能有阻止渲染的 JavaScript 或 CSS。

幸运的是，Google 不仅会告诉您您的网站出了什么问题，还会告诉您如何解决它发现的问题。

总结 SEO 的抓取预算

现在您对抓取预算、搜索引擎优化以及它如何影响您的网站有了更多的了解。

为什么不今天花点时间制定一个行动计划来优化您的抓取预算？ 这对大型网站非常有帮助，并且通常会导致修复抓取之外的许多其他问题。