ميزانية الزحف من Google لمحركات البحث ، توقف عن التخمين (معلومات حقيقية هنا)

نشرت: 2021-07-13

إذا كنت تريد فهرسة الصفحات الموجودة على موقع الويب الخاص بك بسرعة ، فأنت بحاجة إلى فهم معنى ميزانية الزحف لـ SEO.

إنه حقًا يؤثر على جميع المواقع الكبيرة والصغيرة. ولكن في كثير من الأحيان ، تحتاج المواقع الكبيرة أو المواقع التي بها أخطاء فنية أو المواقع ذات ميزات إنشاء عناوين URL الفريدة إلى الانتباه هنا.

لكن انتظر!

أنا أتقدم على نفسي. لنبدأ بشكل أبطأ قليلاً.

كل ما تحتاج لمعرفته حول ميزانية الزحف لكبار المسئولين الاقتصاديين

كل ما تحتاج لمعرفته حول ميزانية الزحف لكبار المسئولين الاقتصاديين

كان مفهوم ميزانية الزحف في السابق عبارة عن لعبة تخمين بين مُحسّنات محرّكات البحث. ومع ذلك ، بفضل المنشور الأخير الذي نشره Gary Illyes من Google ، أصبحنا جميعًا الآن على دراية أكبر.

في هذه المقالة ، سنغطي كل ما تحتاج لمعرفته حول ميزانية الزحف ونقدم بعض نصائح التحسين.

ما هي ميزانية الزحف؟

قبل أن تتمكن من فهم مفهوم ميزانية الزحف لـ SEO ، ستحتاج أولاً إلى التعرف على مصطلح آخر: Googlebot.

Googlebot هو الاسم الذي يطلق على الوكيل الآلي الذي يزحف حول موقعك بحثًا عن صفحات لإضافتها إلى فهرسها. يمكنك التفكير في الأمر على أنه متصفّح ويب رقمي.

نظرًا لوجود مليارات ومليارات من الصفحات على الويب ، سيكون من غير العملي أن يقوم Googlebot بالزحف إليها كل ثانية من كل يوم. سيؤدي القيام بذلك إلى استهلاك معدل نقل بيانات قيِّم عبر الإنترنت ، مما يؤدي إلى بطء أداء مواقع الويب.

لذلك تخصص Google ميزانية الزحف لكل موقع ويب. تحدد هذه الميزانية عدد المرات التي يزحف فيها Googlebot إلى الموقع بحثًا عن صفحات لفهرستها.

تحدد Google مهمة ميزانية الزحف على النحو التالي: "إن تحديد أولويات ما يتم الزحف إليه ، ومتى ، ومقدار الموارد التي يمكن للخادم الذي يستضيف موقع الويب تخصيصه للزحف ، هو أكثر أهمية لمواقع الويب الأكبر حجمًا ، أو تلك التي تنشئ الصفحات تلقائيًا استنادًا إلى معلمات عناوين URL ، على سبيل المثال."

لماذا يعد تحسين ميزانية الزحف مهمًا لتحسين محركات البحث؟

الجواب على هذا أساسي وبسيط. كلما تم تحسين ميزانية الزحف بشكل أفضل لفهرسة الصفحة ، كلما ارتفع ترتيبها على Google.

من الأهمية بمكان التأكد من أنه إذا كان لديك موقع كبير ، خاصة التجارة الإلكترونية ، أو أضفت الكثير من الصفحات أو لديك الكثير من الصفحات المعاد توجيهها ، فلديك القدرة على الزحف لميزانية التعامل معها.

ومع ذلك ، لا ينبغي أن يكون هذا مصدر قلق كبير ، حيث يقوم محرك بحث Google بالزحف إلى الصفحات المفهرسة بكفاءة ولكنه بالتأكيد شيء يجب أن تكون على دراية به.

حد معدل الزحف

حد معدل الزحف مختلف قليلاً عن ميزانية الزحف. فهي تحدد عدد الاتصالات المتزامنة التي يستخدمها Googlebot للزحف إلى أحد المواقع والوقت الذي سينتظره قبل جلب صفحة أخرى.

تذكر أن Google تدور حول تجربة المستخدم. والسبب في أن الروبوت الخاص به يستخدم حدًا لمعدل الزحف هو منع أحد المواقع من تجاوزه بواسطة وكلاء آليين لدرجة أن المستخدمين البشريين يواجهون مشكلة في تحميل الموقع على متصفحاتهم.

تغيير معدل الزحف

فيما يلي بعض العوامل التي تؤثر على معدل الزحف:

  • سرعة موقع الويب - إذا استجاب أحد المواقع بسرعة لبرنامج Googlebot ، فستعمل Google على زيادة معدل حد الزحف. من ناحية أخرى ، ستعمل Google على خفض معدل الزحف للمواقع البطيئة.
  • الإعداد في Search Console - يمكن لمشرفي المواقع أيضًا تعيين حد الزحف في Search Console. بينما لا يمكنهم زيادة معدل الزحف ، يمكنهم تقليله إذا اعتقدوا أن Google يقوم بالكثير من الزحف على الخادم الخاص بهم.

ضع في اعتبارك أنه على الرغم من أن معدل الزحف الصحي قد يؤدي إلى فهرسة الصفحات بشكل أسرع ، إلا أن معدل الزحف الأعلى ليس عامل ترتيب.

إعدادات معدل الزحف

طلب الزحف - ميزانية الزحف لكبار المسئولين الاقتصاديين

حتى إذا لم يتم الوصول إلى حد الزحف ، فقد تقلل Google عدد الصفحات التي يزحف إليها الروبوت. يُطلق على النشاط المنخفض من الروبوت انخفاضًا في طلب الزحف.

ما الذي يؤثر على طلب الزحف؟ هناك شيئين:

  • الشعبية - تميل الصفحات الأكثر شيوعًا (أي أنها تتم مشاركتها كثيرًا على وسائل التواصل الاجتماعي وتتلقى روابط من مواقع ويب أخرى) إلى الزحف إليها كثيرًا.
  • Staleness - تحاول Google منع عناوين URL من أن تصبح قديمة في فهرسها.

أيضًا ، قد تؤدي الأحداث على مستوى الموقع (مثل نقل الموقع) إلى زيادة الطلب على الزحف. ذلك لأن Google بحاجة إلى إعادة فهرسة المحتوى باستخدام عناوين URL الجديدة.

ما الذي يؤثر على ميزانية الزحف؟ - ميزانية الزحف لكبار المسئولين الاقتصاديين

في الأساس ، ميزانية الزحف هي مزيج من معدل الزحف وطلب الزحف. وفقًا لـ Illyes ، فإن ميزانية الزحف هي عدد عناوين URL التي يستطيع Googlebot الزحف إليها ويريد الزحف إليها.

لحسن الحظ ، حددت Google بالضبط العوامل التي تؤثر على ميزانية الزحف. فيما يلي قائمة بها مرتبة حسب الأهمية:

  • معلمات عنوان URL - غالبًا ما يكون عنوان URL الأساسي (على سبيل المثال ، "http://mysite.com") الذي تمت إضافته مع المعلمات (على سبيل المثال ، "http://mysite.com؟id=3") يعرض نفس الشيء تمامًا صفحة. قد يؤدي هذا النوع من الإعداد إلى احتساب العديد من عناوين URL الفريدة في ميزانية الزحف على الرغم من أن جميع عناوين URL هذه تعرض الصفحة نفسها.
  • محتوى مكرر - في بعض الحالات ، يمكن أن تكون عناوين URL فريدة تمامًا بدون معلمات الطلب ولا تزال تعرض نفس المحتوى. سيؤثر ذلك سلبًا على ميزانية الزحف أيضًا.
  • صفحات الأخطاء الناعمة - تؤثر صفحات خطأ Soft 404 أيضًا على ميزانية الزحف. لحسن الحظ ، تم الإبلاغ عنها أيضًا في Search Console.
  • الصفحات التي تم الاستيلاء عليها - يمكن للمواقع التي وقع ضحية للقراصنة أن ترى ميزانية الزحف الخاصة بها محدودة.
  • المساحات اللانهائية - ستجد المواقع التي تحتوي على روابط غير محدودة (مثل التقويمات التي يمكن للمستخدمين النقر عليها في يوم أو شهر أو عام) أن Googlebot يهدر ميزانية الزحف الخاصة به على الروابط التي قد تكون غير مهمة.
  • محتوى منخفض الجودة - إذا كان الموقع يعاني من جودة رديئة ، فمن المحتمل أن تحدد Google ميزانية الزحف.

كيفية تحسين ميزانية الزحف الخاصة بك

الآن بعد أن أصبحت على دراية بمفهوم ميزانية الزحف لـ SEO ، فقد حان الوقت لتحسين موقعك وفقًا لذلك. فيما يلي عدة طرق للقيام بذلك.

1. استخدم أدوات مجانية

- توفر لك كل من Google Search Console وأدوات مشرفي المواقع Bing الكثير من المعلومات حول المشكلات التي قد تؤثر سلبًا على ميزانية الزحف لديك. تأكد من استخدامها وتكوينها لجميع المواقع التي تراقبها.

بعد ذلك ، تحقق مرة أخرى باستخدام هذه الأدوات من وقت لآخر لمعرفة ما إذا كانت مواقعك تواجه أية مشكلات. على سبيل المثال ، إذا أبلغت Search Console أن أحد مواقعك يحتوي على بعض أخطاء soft 404 ، فتأكد من إصلاح هذه المشكلة على الفور.

تذكر أن كلاً من Google و Microsoft يريدك أن تنجح عبر الإنترنت لهذا السبب يقدمون هذه الأدوات مجانًا.

2. تأكد من أن صفحاتك قابلة للزحف

- من المغري الاستفادة من عجائب التكنولوجيا الحديثة لدرجة تجعل من الصعب على Googlebot الزحف إلى موقعك. قاوم هذا الإغراء.

على سبيل المثال ، تعمل تقنية مثل AJAX (JavaScript غير متزامن و XML) على تحميل المحتوى بحيث لا يضطر المستخدمون إلى تحديث الصفحة. ومع ذلك ، قد لا يتمكن Googlebot من الوصول إلى المحتوى الذي تم تحميله بواسطة AJAX. هذا موضوع كبير يتخطى حدود زحف تحسين محركات البحث (SEO) ، لذلك سنحفظه في منشور آخر. لكن في الأساس ، يجب أن يكون لديك قاعدة HTML.

أيضًا ، استخدم ملف Sitemap وتأكد من تحديثه دائمًا . لحسن الحظ ، فإن أنظمة إدارة المحتوى مثل WordPress تجعل من السهل القيام بذلك.

3. الحد من عمليات إعادة التوجيه

- في كل مرة تقوم إحدى الصفحات الموجودة على موقعك بإعادة التوجيه إلى صفحة أخرى (باستخدام إعادة التوجيه 301 أو 302) ، فإنها تستخدم جزءًا صغيرًا من ميزانية الزحف الخاصة بك. هذا يعني أنه إذا كان لديك الكثير من عمليات إعادة التوجيه ، فقد يتم استنفاد ميزانية الزحف الخاصة بك قبل أن يزحف Googlebot إلى الصفحة التي تريد فهرستها.

4. القضاء على الروابط المعطلة

- إذا كان لديك الكثير من الروابط المعطلة على موقعك ، فستحتاج إلى تنظيفها إذا كنت ترغب في زيادة ميزانية الزحف إلى الحد الأقصى.

لحسن الحظ ، من السهل العثور على روابط معطلة باستخدام أداة مثل Screaming Frog. تأكد أيضًا من التحقق من Google Search Console و Bing Webmaster Tools من وقت لآخر.

5. تجنب استخدام محددات URL

- كما رأينا ، يمكنك استهلاك جزء كبير من ميزانية الزحف باستخدام معلمات URL مختلفة تشير إلى نفس الصفحة. يمكنك التخلص من هذه المشكلة ، بالطبع ، عن طريق إزالة معلمات URL تمامًا.

على سبيل المثال ، إذا كنت تدير موقعًا للتجارة الإلكترونية ، فيمكنك استخدام عنوان URL التالي لعرض منتج معين: http://mysite.com/shop؟productId=5. بدلاً من ذلك ، قم بتغيير عنوان URL هذا إلى http://mysite.com/shop/productId5 بحيث يكون شيء من هذا القبيل. عند القيام بذلك ، ستقوم بإزالة معلمة طلب واحدة على الأقل.

إذا كان يجب عليك استخدام معلمات الطلب ، فتأكد من إخبار Google بكيفية التعامل مع هذه المعلمات في Search Console. ما عليك سوى النقر على "الزحف" في الشريط الجانبي الأيمن وتحديد "معلمات URL" من القائمة التي تظهر. في تلك الصفحة ، يمكنك تعديل اقتراحاتك وإضافة معلمات جديدة حتى لا يقوم محرك بحث Google بفهرسة الصفحات المكررة. سيؤدي هذا إلى تغيير ميزانية الزحف الخاصة بك لـ SEO. لكن كن حذرًا حقًا هنا ، يمكن للمعامل الخاطئ تدمير موقع الويب الخاص بك.

6. استخدام الربط الداخلي

- يمكن القول إن أحد أكثر الجوانب التي يتم تجاهلها في تحسين محركات البحث اليوم هو الارتباط الداخلي. ومع ذلك ، ضع في اعتبارك أنه من الأفضل عادةً الربط داخليًا بصفحاتك الأكثر ربحية. بهذه الطريقة ، سيرى Googlebot هذه الصفحات بشكل متكرر.

7. استخدم الربط الخارجي

- أظهرت دراسة حديثة أن هناك ارتباطًا بين الروابط الخارجية وعدد المرات التي يزحف فيها Googlebot إلى أحد المواقع. لهذا السبب من المهم الحصول على روابط خارجية تشير إلى موقعك.

يعد الدخول في جميع الطرق التي يمكنك من خلالها إنشاء روابط خارجية خارج نطاق هذا المقال. اعرض هذه القائمة الشاملة لاستراتيجيات الربط الخلفي لمزيد من المعلومات.

8. تحسين سرعة الخادم الخاص بك

- من المهم إجراء بعض أبحاث ما قبل البيع قبل اختيار مزود استضافة. هذا لأنك تريد مضيفًا يستجيب بسرعة كبيرة لطلبات الخادم.

كلما زادت سرعة استجابة الخادم لطلب الصفحة ، زاد عدد الصفحات التي يزحف إليها Googlebot.

9. تخزين صفحاتك مؤقتًا

- بالحديث عن السرعة ، إنها فكرة رائعة حقًا تخزين صفحات الويب الخاصة بك مؤقتًا. سيتم تحميلها بشكل أسرع ليس فقط للمستخدمين ، ولكن أيضًا لبرنامج Googlebot ، مما يمنح موقعك دفعة في حد معدل الزحف.

لحسن الحظ ، من السهل تخزين الصفحات مؤقتًا على منصة WordPress باستخدام المكون الإضافي W3 Total Cache أو المكون الإضافي Super Cache.

10. تحسين سرعة تحميل الصفحة

- بمجرد وضع موقعك على خادم سريع وتخزين صفحاتك في ذاكرة التخزين المؤقت ، قد لا تكون قد انتهيت من تحسين السرعة. توجه إلى أداة PageSpeed ​​Insights واطلع على رأي Google في سرعة صفحتك.

قد تجد أنه لا تزال هناك بعض المشكلات على موقعك تمنع تحميل صفحاتك في أسرع وقت ممكن. على سبيل المثال ، قد يكون لديك JavaScript أو CSS لحظر العرض على صفحاتك.

اختبار سرعة الموقع

لحسن الحظ ، لا تخبرك Google فقط بالخطأ في موقعك ، ولكن أيضًا كيفية إصلاح المشكلات التي تم تحديدها.

تغليفها بميزانية الزحف لكبار المسئولين الاقتصاديين

أنت الآن تعرف المزيد عن ميزانيات الزحف وتحسين محرك البحث وكيف تؤثر على موقعك.

لماذا لا تأخذ بعض الوقت اليوم لوضع خطة عمل لتحسين ميزانية الزحف الخاصة بك؟ يمكن أن يكون هذا مفيدًا حقًا لمواقع الويب الكبيرة وغالبًا ما يؤدي إلى إصلاح العديد من المشكلات الأخرى خارج الزحف.