SEOのためのGoogleクロール予算、推測をやめてください！ （実際の情報はこちら）
公開: 2021-07-13Webサイトのページをすばやくインデックスに登録する場合は、SEOのクロールバジェットの意味を理解する必要があります。
それは本当に大小すべてのサイトに影響を与えます。 しかし、多くの場合、大規模なサイト、技術的にエラーのあるサイト、または固有のURL生成機能を備えたサイトは、ここで本当に注意を払う必要があります。
ちょっと待って！
私は自分より進んでいます。 少しゆっくり始めましょう。
SEOのクロール予算について知っておくべきことすべて
クロール予算の概念は、かつてSEOの間でちょっとした推測ゲームでした。 しかし、GoogleのGary Illyesによる最近の投稿のおかげで、私たちは今でははるかに多くの情報を得ています。
この記事では、クロール予算について知っておく必要のあるすべてのことをカバーし、いくつかの最適化のヒントを提供します。
クロール予算とは何ですか？
SEOのクロール予算の概念を理解する前に、まず別の用語であるGooglebotについて理解する必要があります。
Googlebotは、インデックスに追加するページを探してサイトをクロールする自動エージェントに付けられた名前です。 あなたはそれをデジタルウェブサーファーと考えることができます。
ウェブ上には何十億ものページがあるため、Googlebotが毎日1秒ごとにページをクロールするのは現実的ではありません。 これを行うと、オンラインで貴重な帯域幅が消費され、Webサイトのパフォーマンスが低下します。
そのため、Googleは各ウェブサイトにクロール予算を割り当てます。 その予算によって、Googlebotがインデックスを作成するページを探してサイトをクロールする頻度が決まります。
Googleは、クロール予算の使命を次のように定義しています。「ウェブサイトをホストしているサーバーがクロールに割り当てることができるリソース、タイミング、量を優先することは、大規模なウェブサイトやURLパラメータに基づいてページを自動生成するウェブサイトにとってより重要です。 、 例えば。"
クロール予算の最適化がSEOにとって重要なのはなぜですか？
これに対する答えは基本的で単純です。 クロール予算が最適化されてページのインデックスが作成されると、Googleでのランクが高くなります。
大規模なサイト、特にeコマースがある場合、または多数のページを追加した場合、またはリダイレクトされたページが多数ある場合は、それを処理するためのクロール予算容量があることを確認することが重要です。
ただし、Googleはインデックス付きページを効率的にクロールするため、これは大きな懸念事項ではありませんが、確かに注意する必要があります。
クロールレート制限
クロールレートの制限は、クロールバジェットとは少し異なります。 これは、Googlebotがサイトをクロールするために使用する同時接続の数と、別のページをフェッチするまで待機する時間を定義します。
Googleはユーザーエクスペリエンスがすべてであることを忘れないでください。 ボットがクロール速度制限を使用する理由は、人間のユーザーがブラウザーにサイトをロードするのに問題が発生するほど、自動化されたエージェントによってサイトがオーバーランされるのを防ぐためです。
クロール速度に影響を与えるいくつかの要因は次のとおりです。
- ウェブサイトの速度–サイトがGooglebotにすばやく応答する場合、Googleはクロール制限率を上げます。 一方、グーグルは低迷しているウェブサイトのクロール率を下げます。
- 検索コンソールでの設定–ウェブマスターは検索コンソールでクロール制限を設定することもできます。 クロール速度を上げることはできませんが、Googleがサーバーでクロールしすぎていると思われる場合は、クロール速度を下げることができます。
正常なクロール速度ではページのインデックス作成が速くなる可能性がありますが、クロール速度が高いことはランキング要素ではないことに注意してください。
クロール需要–SEOのクロール予算
クロール制限に達していない場合でも、Googleはボットがクロールするページ数を減らす可能性があります。 ボットからのアクティビティの減少は、クロール需要の減少と呼ばれます。
クロール需要に影響を与えるものは何ですか？ いくつかのことがあります：
- 人気–人気のある（つまり、ソーシャルメディアで多く共有され、他のWebサイトからリンクを受け取る）ページは、クロールされる頻度が高くなる傾向があります。
- 古さ– Googleは、インデックス内のURLが古くなるのを防ごうとします。
また、サイト全体のイベント（サイトの移動など）により、クロールの需要が増加する可能性があります。 これは、Googleが新しいURLでコンテンツのインデックスを再作成する必要があるためです。
クロール予算に影響を与えるものは何ですか？ –SEOのクロール予算
基本的に、クロールバジェットはクロールレートとクロール需要の組み合わせです。 Illyesによると、クロールバジェットは、GooglebotがクロールできるURLとクロールしたいURLの数です。
幸い、Googleは、クロール予算に影響を与える要因を正確に特定しました。 重要度の高い順にランク付けされたそれらのリストは次のとおりです。
- URLパラメータ–パラメータ（「http://mysite.com?id=3」など）を追加したベースURL（「http://mysite.com」など）がまったく同じものを返すことがよくあります。ページ。 この種の設定では、すべてのURLが同じページを返す場合でも、多数の一意のURLがクロールバジェットにカウントされる可能性があります。
- 重複するコンテンツ–場合によっては、URLはリクエストパラメータなしで完全に一意であり、それでも同じコンテンツを返すことがあります。 これは、クロールバジェットにも悪影響を及ぼします。
- ソフトエラーページ–ソフト404エラーページもクロールバジェットに影響を与えます。 幸い、検索コンソールでも報告されます。
- ハッキングされたページ–ハッカーの被害を受けたサイトでは、クロール予算が制限されていることがわかります。
- 無限のスペース–無制限のリンクがあるサイト（ユーザーが日、月、または年をクリックできるカレンダーなど）は、Googlebotが重要でない可能性のあるリンクにクロール予算を浪費していることに気付くでしょう。
- 低品質のコンテンツ–サイトの品質が低い場合、Googleがクロール予算を制限する可能性があります。
クロール予算を最適化する方法
SEOのクロール予算の概念に慣れてきたので、それに応じてサイトを最適化するときが来ました。 これを行うには、いくつかの方法があります。
1.無料ツールを使用する
– Google SearchConsoleとBingWebmaster Toolsはどちらも、クロール予算に悪影響を与える可能性のある問題に関する多くの情報を提供します。 必ずそれらを使用し、監視しているすべてのサイト用に構成してください。
次に、これらのツールを時々チェックして、サイトで問題が発生していないかどうかを確認します。 たとえば、検索コンソールでサイトの1つにソフト404エラーがあると報告された場合は、その問題をすぐに修正してください。
グーグルとマイクロソフトの両方があなたにオンラインで成功することを望んでいることを忘れないでください。 そのため、これらのツールは無料で提供されています。
2.ページがクロール可能であることを確認します
– Googlebotがサイトをクロールするのを困難にするほど、最新のテクノロジーの素晴らしさを利用したくなります。 その誘惑に抵抗しなさい。
たとえば、AJAX（Asynchronous JavaScript and XML）などのテクノロジーはコンテンツをロードするため、ユーザーはページを更新する必要がありません。 ただし、AJAXによって読み込まれたコンテンツには、Googlebotからアクセスできない場合があります。 これは、SEOクロールの予算を超えてスパムを送信する大きなトピックなので、別の投稿のために保存します。 ただし、基本的にはHTMLベースが必要です。
また、サイトマップを使用して、常に最新であることを確認してください。 幸いなことに、WordPressのようなコンテンツ管理システムはそれを簡単に行うことができます。
3.リダイレクトを制限します
–サイトのページの1つが別のページにリダイレクトされるたびに（301または302リダイレクトを使用）、クロール予算のごく一部が使用されます。 つまり、リダイレクトが多い場合、Googlebotがインデックスを作成するページをクロールする前に、クロールの予算が使い果たされる可能性があります。
4.壊れたリンクを排除します
–サイトに壊れたリンクがたくさんある場合、クロール予算を最大化するには、それらをクリーンアップする必要があります。
幸い、Screaming Frogのようなツールを使用すると、壊れたリンクを簡単に見つけることができます。 また、Google検索コンソールとBingウェブマスターツールで時々確認してください。
5.URLパラメータの使用を避ける
–これまで見てきたように、同じページを指すさまざまなURLパラメーターを使用すると、クロール予算のかなりの部分を消費する可能性があります。 もちろん、URLパラメータを完全に削除することで、この問題を解決できます。
たとえば、eコマースサイトを運営している場合は、次のURLを使用して特定の製品を表示できます：http：//mysite.com/shop？productId = 5。 代わりに、そのURLをhttp://mysite.com/shop/productId5に変更して、そのようなものにします。 そうすることで、少なくとも1つのリクエストパラメータを削除します。
リクエストパラメータを使用する必要がある場合は、検索コンソールでそれらのパラメータを処理する方法をGoogleに必ず伝えてください。 左側のサイドバーの[クロール]をクリックして、表示されるメニューから[URLパラメータ]を選択するだけです。 そのページで、提案を編集し、新しいパラメータを追加して、Googleが重複ページをインデックスに登録しないようにすることができます。 これにより、SEOのクロール予算が変更されます。 しかし、ここでは本当に注意してください。間違ったパラメータはあなたのウェブサイトを破壊する可能性があります。
6.内部リンクを使用する
–間違いなく、今日のSEOで最も見過ごされている側面の1つは、内部リンクです。 ただし、通常は、最も収益性の高いページに内部的にリンクするのが最善であることに注意してください。 そうすれば、Googlebotはそれらのページをより頻繁に見ることができます。
7.外部リンクを使用する
–最近の調査によると、外部リンクとGooglebotがサイトをクロールする回数には相関関係があります。 そのため、サイトを指す外部リンクを取得することが重要です。
外部リンクを構築するためのすべての方法を説明することは、この記事の範囲を超えています。 詳細については、このバックリンク戦略の包括的なリストをご覧ください。
8.サーバーの速度を向上させる
–ホスティングプロバイダーを選択する前に、販売前の調査を行うことが重要です。 これは、サーバーの要求に非常に迅速に応答するホストが必要なためです。
サーバーがページリクエストに応答する速度が速いほど、Googlebotがクロールするページが多くなります。
9.ページをキャッシュする
–速度について言えば、Webページをキャッシュすることは本当に素晴らしいアイデアです。 ユーザーだけでなくGooglebotの読み込みも速くなり、サイトのクロール速度制限が引き上げられます。
幸い、W3 TotalCacheプラグインまたはSuperCacheプラグインを使用すると、WordPressプラットフォームでページを簡単にキャッシュできます。
10.ページの読み込み速度を最適化する
–サイトを高速サーバーに配置してページをキャッシュした後でも、速度の最適化が完了していない可能性があります。 PageSpeed Insightsツールにアクセスして、Googleがページ速度についてどのように考えているかを確認してください。
あなたはあなたのサイトにあなたのページができるだけ速くロードするのを妨げるいくつかの問題がまだあることに気付くかもしれません。 たとえば、ページにレンダリングをブロックするJavaScriptまたはCSSがあるとします。
幸いなことに、Googleはサイトの何が問題になっているのかだけでなく、特定された問題を修正する方法も教えてくれます。
SEOのクロール予算をまとめる
これで、クロール予算、検索エンジン最適化、およびそれがサイトに与える影響についてもう少し理解できました。
クロール予算を最適化するためのアクションプランを策定するために、今日少し時間を取ってみませんか？ これは大規模なWebサイトに非常に役立ち、クロール以外の多くの問題の修正につながることがよくあります。