Google Crawl-Budget für SEO, hör auf zu raten (Echte Infos hier)

Veröffentlicht: 2021-07-13

Wenn Sie möchten, dass die Seiten Ihrer Website schnell indiziert werden, müssen Sie die Bedeutung des Crawling-Budgets für SEO verstehen.

Es wirkt sich wirklich auf alle großen und kleinen Seiten aus. Aber oft müssen große Sites, Sites mit technischen Fehlern oder Sites mit einzigartigen URL-Generierungsfunktionen hier wirklich aufpassen.

Aber warte!

Ich komme mir selbst voraus. Fangen wir etwas langsamer an.

Alles, was Sie über ein Crawl-Budget für SEO wissen müssen

Alles, was Sie über ein Crawl-Budget für SEO wissen müssen

Das Konzept eines Crawl-Budgets war einst ein Ratespiel unter SEOs. Dank eines kürzlich erschienenen Beitrags von Googles Gary Illyes sind wir jedoch alle viel besser informiert.

In diesem Artikel behandeln wir alles, was Sie über ein Crawl-Budget wissen müssen, und geben einige Optimierungstipps.

Was ist ein Crawl-Budget?

Bevor Sie das Konzept eines Crawling-Budgets für SEO verstehen, müssen Sie sich zunächst mit einem anderen Begriff vertraut machen: Googlebot.

Googlebot ist der Name des automatisierten Agenten, der Ihre Website durchsucht und nach Seiten sucht, die er ihrem Index hinzufügen kann. Sie können es sich wie einen digitalen Websurfer vorstellen.

Da es Milliarden und Abermilliarden von Seiten im Web gibt, wäre es für den Googlebot unpraktisch, sie jeden Tag jede Sekunde zu crawlen. Dies würde online wertvolle Bandbreite verbrauchen, was zu langsameren Websites führen würde.

Daher weist Google jeder Website ein Crawl-Budget zu. Dieses Budget bestimmt, wie oft der Googlebot die Website crawlt, um nach zu indexierenden Seiten zu suchen.

Google definiert die Mission des Crawling-Budgets wie folgt: „Die Priorisierung, was wann gecrawlt werden soll und wie viel Ressourcen der Server, der die Website hostet, für das Crawlen zuweisen kann, ist wichtiger für größere Websites oder solche, die Seiten basierend auf URL-Parametern automatisch generieren , beispielsweise."

Warum ist die Optimierung des Crawl-Budgets für SEO wichtig?

Die Antwort darauf ist grundlegend und einfach. Je besser ein Crawl-Budget für die Indexierung einer Seite optimiert ist, desto höher wird sie bei Google gerankt.

Es ist wichtig sicherzustellen, dass Sie, wenn Sie eine große Website, insbesondere E-Commerce, haben oder viele Seiten hinzugefügt oder viele umgeleitete Seiten haben, über das Crawl-Budget verfügen, um damit umzugehen.

Dies sollte jedoch kein großes Problem darstellen, da Google indizierte Seiten effizient crawlt, aber es ist sicherlich etwas zu beachten.

Begrenzung der Crawling-Rate

Das Limit für die Crawling-Rate unterscheidet sich geringfügig vom Crawling-Budget. Sie definiert, wie viele gleichzeitige Verbindungen der Googlebot zum Crawlen einer Website verwendet und wie lange er wartet, bevor er eine andere Seite abruft.

Denken Sie daran, bei Google dreht sich alles um die Benutzererfahrung. Der Bot verwendet eine Begrenzung der Crawling-Rate, um zu verhindern, dass eine Site von automatisierten Agenten so überrannt wird, dass menschliche Benutzer Probleme beim Laden der Site in ihren Browsern haben.

Crawling-Rate ändern

Hier sind ein paar Faktoren, die die Crawling-Rate beeinflussen:

  • Website-Geschwindigkeit – Wenn eine Website schnell auf den Googlebot reagiert, erhöht Google die Crawling-Limit-Rate. Auf der anderen Seite senkt Google die Crawling-Rate für träge Websites.
  • Einstellung in der Search Console – Webmaster können das Crawling-Limit auch in der Search Console festlegen. Sie können die Crawling-Rate zwar nicht erhöhen, aber verringern, wenn sie der Meinung sind, dass Google zu viel auf ihrem Server crawlt.

Beachten Sie, dass eine hohe Crawling-Rate zwar eine schnellere Indexierung von Seiten bewirken kann, eine höhere Crawling-Rate jedoch kein Rankingfaktor ist.

Einstellungen für die Crawling-Rate

Crawl-Nachfrage – Crawl-Budget für SEO

Selbst wenn das Crawling-Limit nicht erreicht wird, kann Google die Anzahl der Seiten reduzieren, die sein Bot crawlt. Die verringerte Aktivität des Bots wird als Verringerung des Crawling-Bedarfs bezeichnet.

Was beeinflusst die Crawling-Nachfrage? Es gibt ein paar Dinge:

  • Popularität – Beliebtere Seiten (d. h. sie werden häufig in sozialen Medien geteilt und erhalten Links von anderen Websites) werden tendenziell häufiger gecrawlt.
  • Veraltetheit – Google versucht zu verhindern, dass URLs in seinem Index veraltet werden.

Außerdem können Site-weite Ereignisse (z. B. eine Site-Verlagerung) zu einem Anstieg des Crawling-Bedarfs führen. Das liegt daran, dass Google den Inhalt mit den neuen URLs neu indizieren muss.

Was beeinflusst das Crawl-Budget? – Crawl-Budget für SEO

Grundsätzlich ist das Crawl-Budget eine Kombination aus Crawl-Rate und Crawl-Nachfrage. Das Crawl-Budget ist laut Illyes die Anzahl der URLs, die der Googlebot crawlen kann und will.

Glücklicherweise hat Google genau identifiziert, welche Faktoren das Crawl-Budget beeinflussen. Hier ist eine Liste von ihnen, geordnet nach Wichtigkeit:

  • URL-Parameter – Es ist oft der Fall, dass eine Basis-URL (z. B. „http://mysite.com“), die mit Parametern (z. B. „http://mysite.com?id=3“) hinzugefügt wurde, genau dasselbe zurückgibt Seite. Diese Art der Einrichtung kann dazu führen, dass zahlreiche eindeutige URLs auf das Crawling-Budget angerechnet werden, obwohl alle diese URLs dieselbe Seite zurückgeben.
  • Doppelter Inhalt – In einigen Fällen können URLs ohne Anforderungsparameter völlig eindeutig sein und dennoch denselben Inhalt zurückgeben. Das wirkt sich auch negativ auf das Crawl-Budget aus.
  • Weiche Fehlerseiten – Weiche 404-Fehlerseiten wirken sich auch auf das Crawl-Budget aus. Glücklicherweise werden sie auch in der Search Console gemeldet.
  • Gehackte Seiten – Websites, die von Hackern zum Opfer gefallen sind, können ihr Crawl-Budget begrenzt sehen.
  • Unendliche Räume – Websites mit unbegrenzten Links (z. B. Kalender, in denen Benutzer auf einen Tag, Monat oder ein Jahr klicken können) werden feststellen, dass der Googlebot sein Crawl-Budget für möglicherweise unwichtige Links verschwendet.
  • Inhalte von geringer Qualität – Wenn die Website von schlechter Qualität ist, begrenzt Google wahrscheinlich das Crawl-Budget.

So optimieren Sie Ihr Crawl-Budget

Da Sie nun mit dem Konzept eines Crawling-Budgets für SEO vertraut sind, ist es an der Zeit, Ihre Website entsprechend zu optimieren. Hier sind mehrere Möglichkeiten, genau das zu tun.

1. Verwenden Sie kostenlose Tools

– Sowohl die Google Search Console als auch die Bing Webmaster Tools bieten Ihnen zahlreiche Informationen zu Problemen, die Ihr Crawl-Budget beeinträchtigen könnten. Verwenden Sie sie unbedingt und konfigurieren Sie sie für alle Websites, die Sie überwachen.

Überprüfen Sie dann von Zeit zu Zeit mit diesen Tools, ob bei Ihren Websites Probleme auftreten. Wenn die Search Console beispielsweise meldet, dass eine Ihrer Websites Soft 404-Fehler aufweist, sollten Sie dieses Problem sofort beheben.

Denken Sie daran, dass sowohl Google als auch Microsoft möchten, dass Sie online erfolgreich sind. Deshalb stellen sie diese Tools kostenlos zur Verfügung.

2. Stellen Sie sicher, dass Ihre Seiten gecrawlt werden können

– Es ist verlockend, die Wunder der modernen Technologie so auszunutzen, dass Sie es dem Googlebot erschweren, Ihre Website zu crawlen. Widerstehen Sie dieser Versuchung.

Technologien wie AJAX (Asynchronous JavaScript and XML) laden beispielsweise Inhalte, sodass Benutzer die Seite nicht aktualisieren müssen. Von AJAX geladene Inhalte sind jedoch möglicherweise nicht für den Googlebot zugänglich. Dies ist ein großes Thema, das über die SEO-Crawling-Budgets hinausgeht, daher werden wir es für einen anderen Beitrag aufheben. Aber grundsätzlich benötigen Sie eine HTML-Basis.

Verwenden Sie außerdem eine Sitemap und stellen Sie sicher, dass diese immer auf dem neuesten Stand ist. Glücklicherweise machen Content-Management-Systeme wie WordPress dies einfach.

3. Weiterleitungen begrenzen

– Jedes Mal, wenn eine der Seiten Ihrer Website auf eine andere Seite umleitet (mit einer 301- oder 302-Umleitung), wird ein kleiner Teil Ihres Crawling-Budgets verbraucht. Das heißt, wenn Sie viele Weiterleitungen haben, kann Ihr Crawl-Budget aufgebraucht sein, bevor der Googlebot die Seite crawlt, die Sie indexieren möchten.

4. Beseitigen Sie defekte Links

– Wenn Sie viele defekte Links auf Ihrer Website haben, müssen Sie diese bereinigen, wenn Sie Ihr Crawl-Budget maximieren möchten.

Glücklicherweise ist es einfach, defekte Links mit einem Tool wie Screaming Frog zu finden. Überprüfen Sie auch von Zeit zu Zeit die Google Search Console und die Bing Webmaster Tools.

5. Vermeiden Sie die Verwendung von URL-Parametern

– Wie wir gesehen haben, können Sie mit unterschiedlichen URL-Parametern, die auf dieselbe Seite verweisen, einen erheblichen Teil Ihres Crawling-Budgets aufzehren. Sie können dieses Problem natürlich beseitigen, indem Sie die URL-Parameter vollständig eliminieren.

Wenn Sie beispielsweise eine E-Commerce-Site betreiben, können Sie die folgende URL verwenden, um ein bestimmtes Produkt anzuzeigen: http://mysite.com/shop?productId=5. Ändern Sie stattdessen diese URL in http://mysite.com/shop/productId5, also ungefähr so. Dabei eliminieren Sie mindestens einen Anfrageparameter.

Wenn Sie Anfrageparameter verwenden müssen, teilen Sie Google unbedingt mit, wie diese Parameter in der Search Console behandelt werden sollen. Klicken Sie einfach auf „Crawl“ in der linken Seitenleiste und wählen Sie „URL-Parameter“ aus dem erscheinenden Menü. Auf dieser Seite können Sie Ihre Vorschläge bearbeiten und neue Parameter hinzufügen, damit Google keine doppelten Seiten indiziert. Dies wird Ihr Crawl-Budget für SEO ändern. Aber seien Sie hier wirklich vorsichtig, der falsche Parameter kann Ihre Website zerstören.

6. Verwenden Sie interne Verlinkung

– Es ist wohl so, dass einer der heute am meisten übersehenen Aspekte von SEO die interne Verlinkung ist. Beachten Sie jedoch, dass es normalerweise am besten ist, intern auf Ihre profitabelsten Seiten zu verlinken. Auf diese Weise sieht der Googlebot diese Seiten häufiger.

7. Verwenden Sie externe Verlinkung

– Eine aktuelle Studie zeigt, dass ein Zusammenhang zwischen externen Links und der Häufigkeit besteht, mit der der Googlebot eine Website crawlt. Aus diesem Grund ist es wichtig, dass externe Links auf Ihre Website verweisen.

Es würde den Rahmen dieses Artikels sprengen, auf alle Möglichkeiten einzugehen, wie Sie externe Links erstellen können. Weitere Informationen finden Sie in dieser umfassenden Liste von Backlinking-Strategien.

8. Verbessern Sie Ihre Servergeschwindigkeit

– Es ist wichtig, vor der Auswahl eines Hosting-Providers einige Pre-Sales-Recherchen durchzuführen. Das liegt daran, dass Sie einen Host wünschen, der sehr schnell auf Serveranforderungen reagiert.

Je schneller Ihr Server auf eine Seitenanfrage antwortet, desto mehr Seiten crawlt der Googlebot.

9. Cachen Sie Ihre Seiten

– Apropos Geschwindigkeit, es ist eine wirklich gute Idee, Ihre Webseiten zwischenzuspeichern. Sie werden nicht nur für Nutzer, sondern auch für den Googlebot schneller geladen, wodurch Ihre Website eine höhere Crawling-Rate erhält.

Glücklicherweise ist es einfach, Seiten auf einer WordPress-Plattform mit dem W3 Total Cache-Plugin oder dem Super Cache-Plugin zwischenzuspeichern.

10. Optimieren Sie die Seitenladegeschwindigkeit

– Nachdem Sie Ihre Site auf einen schnellen Server gestellt und Ihre Seiten zwischengespeichert haben, ist die Geschwindigkeitsoptimierung möglicherweise immer noch nicht abgeschlossen. Gehen Sie zum PageSpeed ​​Insights-Tool und sehen Sie, was Google über Ihre Seitengeschwindigkeit denkt.

Möglicherweise stellen Sie fest, dass es auf Ihrer Website noch einige Probleme gibt, die verhindern, dass Ihre Seiten so schnell wie möglich geladen werden. Beispielsweise könnten Sie JavaScript oder CSS auf Ihren Seiten verwenden, die das Rendern blockieren.

Website-Geschwindigkeitstest

Glücklicherweise sagt Ihnen Google nicht nur, was mit Ihrer Website nicht stimmt, sondern auch, wie Sie die identifizierten Probleme beheben können.

Zusammenfassung des Crawl-Budgets für SEO

Jetzt wissen Sie ein wenig mehr über Crawl-Budgets, Suchmaschinenoptimierung und deren Auswirkungen auf Ihre Website.

Warum nehmen Sie sich nicht noch heute etwas Zeit, um einen Aktionsplan zur Optimierung Ihres Crawling-Budgets aufzustellen? Dies kann für große Websites sehr hilfreich sein und führt oft dazu, viele andere Probleme außerhalb des Crawls zu beheben.