كيفية إضافة ملف Robots.txt مخصص في Blogger؟

في إحدى مشاركاتي السابقة ، ناقشت إعدادات علامات رؤوس الروبوتات المخصصة للمدون.

إذا كنت قد قرأت هذا المنشور ، فآمل أن تكونوا مدركين لأهميته في تصنيفات البحث.

اليوم ، عدت بمصطلح تدوين مفيد للغاية ويجب أن أدرك أنه Robots.txt.

يُعرف في Blogger باسم Custom Robots.txt مما يعني أنه يمكنك الآن تخصيص هذا الملف وفقًا لاختيارك.

في البرنامج التعليمي اليوم ، سنناقش هذا المصطلح بعمق ونتعرف على استخدامه وفوائده. سأخبرك أيضًا بكيفية إضافة ملف robots.txt مخصص في بلوجر.

لذلك دعونا نبدأ الدليل.

أكثر…

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي الذي يحتوي على الأسطر القليلة من رمز بسيط.

يتم حفظها على موقع الويب أو خادم المدونة الذي يوجه برامج زحف الويب حول كيفية فهرسة مدونتك والزحف إليها في نتائج البحث.

هذا يعني أنه يمكنك تقييد أي صفحة ويب على مدونتك من برامج زحف الويب بحيث لا يمكن فهرستها في محركات البحث مثل صفحة تسميات المدونة الخاصة بك أو صفحتك التجريبية أو أي صفحات أخرى ليس لها نفس الأهمية للفهرسة.

تذكر دائمًا أن برامج زحف البحث تفحص ملف robots.txt قبل الزحف إلى أي صفحة ويب.

تحتوي كل مدونة مستضافة على blogger على ملف robots.txt الافتراضي الخاص بها والذي يبدو كالتالي:

وكيل المستخدم: Mediapartners-Google

عدم السماح:

وكيل المستخدم: *

Disallow: / بحث

السماح: /

خريطة الموقع: http://example.blogspot.com/feeds/posts/default؟orderby=UPDATED

تفسير

ينقسم هذا الرمز إلى ثلاثة أقسام. دعونا أولاً ندرس كل واحد منهم بعد ذلك سنتعلم كيفية إضافة ملف robots.txt مخصص في مدونات blogspot.

وكيل المستخدم: Mediapartners-Google

هذا الرمز مخصص لروبوتات Google Adsense التي تساعدهم على تقديم إعلانات أفضل على مدونتك. إما أنك تستخدم Google Adsense على مدونتك أو لا تتركها كما هي.

وكيل المستخدم: *

هذا لجميع الروبوتات المميزة بعلامة النجمة (*). في الإعدادات الافتراضية ، يتم تقييد ارتباطات تسميات المدونة الخاصة بنا بالفهرسة بواسطة برامج زحف البحث مما يعني أن برامج زحف الويب لن تقوم بفهرسة روابط صفحة التسميات الخاصة بنا بسبب الكود أدناه.

Disallow: / بحث

هذا يعني أنه سيتم تجاهل الروابط التي تحتوي على بحث بالكلمة المفتاحية بعد اسم المجال مباشرة. انظر المثال أدناه وهو رابط لصفحة التسمية المسماة SEO.

http://www.bloggertipstricks.com/ search / label / SEO

وإذا أزلنا Disallow: / search من الكود أعلاه ، فستصل برامج الزحف إلى مدونتنا بالكامل لفهرسة جميع محتوياتها وصفحات الويب والزحف إليها.

سماح هنا : / يشير إلى الصفحة الرئيسية مما يعني أن برامج زحف الويب يمكنها الزحف إلى الصفحة الرئيسية لمدونتنا وفهرستها.

عدم السماح بنشر معين

لنفترض الآن أنه إذا أردنا استبعاد منشور معين من الفهرسة ، فيمكننا إضافة سطور أدناه في الكود.

Disallow: /yyyy/mm/post-url.html

هنا yyyy و mm تشير إلى سنة نشر المنشور وشهره على التوالي. على سبيل المثال ، إذا نشرنا منشورًا في عام 2013 في شهر مارس ، فعلينا استخدام التنسيق أدناه.

Disallow: /2013/03/post-url.html

لتسهيل هذه المهمة ، يمكنك ببساطة نسخ عنوان URL المنشور وإزالة اسم المدونة من البداية.

عدم السماح بصفحة معينة

إذا احتجنا إلى عدم السماح بصفحة معينة ، فيمكننا استخدام نفس الطريقة المذكورة أعلاه. ما عليك سوى نسخ عنوان URL للصفحة وإزالة عنوان المدونة منه والذي سيبدو كالتالي:

Disallow: /p/page-url.html

خريطة الموقع: http://example.blogspot.com/feeds/posts/default؟orderby=UPDATED

يشير هذا الرمز إلى خريطة موقع مدونتنا. من خلال إضافة رابط خريطة الموقع هنا ، فإننا ببساطة نحسن معدل الزحف إلى مدونتنا.

يعني أنه عندما تقوم برامج زحف الويب بفحص ملف robots.txt الخاص بنا ، فإنها ستعثر على مسار إلى خريطة الموقع الخاصة بنا حيث توجد جميع روابط منشوراتنا المنشورة.

ستجد برامج زحف الويب أنه من السهل الزحف إلى جميع منشوراتنا.

وبالتالي ، هناك فرص أفضل في أن تقوم برامج زحف الويب بالزحف إلى جميع منشورات مدونتنا دون تجاهل واحدة.

ملاحظة : ستخبر خريطة الموقع هذه برامج زحف الويب عن آخر 25 منشورًا. إذا كنت ترغب في زيادة عدد الروابط في ملف Sitemap الخاص بك ، فاستبدل خريطة الموقع الافتراضية أدناه. سيعمل لأول 500 وظيفة حديثة.

خريطة الموقع: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500

إذا كان لديك أكثر من 500 منشور منشور في مدونتك ، فيمكنك استخدام ملفي Sitemap كما يلي:

ملف Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500 خريطة الموقع: http://example.blogspot.com/atom.xml؟redirect=false&start-index=500&max- النتائج = 1000

إضافة Custom Robots.txt إلى Blogger

الآن الجزء الرئيسي من هذا البرنامج التعليمي هو كيفية إضافة ملف robots.txt مخصص في بلوجر. لذلك فيما يلي خطوات لإضافته.

1. اذهب إلى مدونتك.
2. انتقل إلى " الإعدادات" >> تفضيلات البحث ">" برامج الزحف والفهرسة ">" ملف robots.txt مخصص ">" تعديل ">" نعم
3. الآن قم بلصق كود ملف robots.txt الخاص بك في المربع.
4. انقر على زر حفظ التغييرات.
5. انتهيت!

• حفظ

كيف تتحقق من ملف Robots.txt الخاص بك؟

يمكنك التحقق من هذا الملف في مدونتك عن طريق إضافة /robots.txt في نهاية عنوان URL لمدونتك في متصفح الويب. فمثلا:

http://www.yourblogurl.blogspot.com/ robots.txt

بمجرد زيارة عنوان URL لملف robots.txt ، سترى الرمز الكامل الذي تستخدمه في ملف robots.txt المخصص الخاص بك.

انظر أدناه الصورة.

• حفظ

الكلمات الأخيرة!

كان هذا هو البرنامج التعليمي الكامل اليوم حول كيفية إضافة ملف robots.txt مخصص في بلوجر .

لقد بذلت قصارى جهدي لجعل هذا البرنامج التعليمي بسيطًا وغنيًا بالمعلومات قدر الإمكان. ولكن إذا كان لديك أي شك أو استفسار ، فلا تتردد في سؤالي في قسم التعليقات أدناه.

تأكد من عدم وضع أي كود في إعدادات ملف robots.txt المخصصة دون معرفة ذلك. ببساطة اسألني لحل استفساراتك. سأخبرك بكل شيء بالتفصيل.

شكرا يا رفاق لقراءة هذا البرنامج التعليمي. إذا أعجبك ذلك ، فالرجاء دعمني لنشر كلماتي من خلال مشاركة هذا المنشور على ملفات تعريف الوسائط الاجتماعية الخاصة بك. تدوين سعيد!