Google Crawl Budget สำหรับ SEO หยุดเดา! (ข้อมูลจริงที่นี่)

เผยแพร่แล้ว: 2021-07-13

หากคุณต้องการให้หน้าในเว็บไซต์ของคุณจัดทำดัชนีอย่างรวดเร็ว คุณต้องเข้าใจความหมายของงบประมาณการรวบรวมข้อมูลสำหรับ SEO

มันมีผลกับทุกไซต์ทั้งใหญ่และเล็กจริงๆ แต่บ่อยครั้ง ไซต์ขนาดใหญ่ ไซต์ที่มีข้อผิดพลาดทางเทคนิค หรือไซต์ที่มีคุณลักษณะการสร้าง URL เฉพาะ จำเป็นต้องให้ความสนใจที่นี่จริงๆ

แต่เดี๋ยวก่อน!

ฉันกำลังก้าวไปข้างหน้าของตัวเอง มาเริ่มกันให้ช้าลงหน่อย

ทุกสิ่งที่คุณจำเป็นต้องรู้เกี่ยวกับงบประมาณการรวบรวมข้อมูลสำหรับ SEO

ทุกสิ่งที่คุณจำเป็นต้องรู้เกี่ยวกับงบประมาณการรวบรวมข้อมูลสำหรับ SEO

แนวคิดของงบประมาณการรวบรวมข้อมูลครั้งหนึ่งเคยเป็นเกมเดาในหมู่ SEO อย่างไรก็ตาม ต้องขอบคุณโพสต์ล่าสุดโดย Gary Illyes ของ Google ตอนนี้เราทุกคนได้รับข้อมูลมากขึ้น

ในบทความนี้ เราจะครอบคลุมทุกสิ่งที่คุณจำเป็นต้องรู้เกี่ยวกับงบประมาณการรวบรวมข้อมูลและเสนอเคล็ดลับการเพิ่มประสิทธิภาพ

งบประมาณการรวบรวมข้อมูลคืออะไร?

ก่อนที่คุณจะเข้าใจแนวคิดของงบประมาณการรวบรวมข้อมูลสำหรับ SEO คุณต้องทำความคุ้นเคยกับคำศัพท์อื่นก่อน: Googlebot

Googlebot เป็นชื่อที่กำหนดให้กับตัวแทนอัตโนมัติที่รวบรวมข้อมูลรอบ ๆ ไซต์ของคุณเพื่อค้นหาหน้าเว็บที่จะเพิ่มลงในดัชนี คุณสามารถคิดว่ามันเป็นนักท่องเว็บดิจิทัล

เนื่องจากมีหน้าเว็บหลายพันล้านหน้า จึงเป็นไปไม่ได้ที่ Googlebot จะรวบรวมข้อมูลทุกๆ วินาทีของทุกวัน การทำเช่นนี้จะใช้แบนด์วิดท์ที่มีค่าทางออนไลน์ ส่งผลให้เว็บไซต์ทำงานช้าลง

ดังนั้น Google จึงจัดสรรงบประมาณการรวบรวมข้อมูลสำหรับแต่ละเว็บไซต์ งบประมาณดังกล่าวกำหนดความถี่ที่ Googlebot รวบรวมข้อมูลเว็บไซต์เพื่อค้นหาหน้าที่จะจัดทำดัชนี

Google กำหนดภารกิจของงบประมาณการรวบรวมข้อมูลดังนี้: “การจัดลำดับความสำคัญสิ่งที่จะรวบรวมข้อมูล เมื่อใด และจำนวนทรัพยากรที่เซิร์ฟเวอร์ที่โฮสต์เว็บไซต์สามารถจัดสรรให้รวบรวมข้อมูลได้นั้นสำคัญกว่าสำหรับเว็บไซต์ขนาดใหญ่หรือที่สร้างหน้าเว็บโดยอัตโนมัติตามพารามิเตอร์ของ URL , ตัวอย่างเช่น."

เหตุใดการเพิ่มประสิทธิภาพงบประมาณการรวบรวมข้อมูลจึงสำคัญสำหรับ SEO

คำตอบนี้เป็นพื้นฐานและเรียบง่าย งบประมาณการรวบรวมข้อมูลที่ดียิ่งขึ้นได้รับการเพิ่มประสิทธิภาพในการจัดทำดัชนีหน้าเว็บ หน้านั้นจะอยู่ในอันดับที่สูงขึ้นใน Google

สิ่งสำคัญคือต้องแน่ใจว่าถ้าคุณมีไซต์ขนาดใหญ่ โดยเฉพาะอีคอมเมิร์ซ หรือได้เพิ่มหน้าเว็บจำนวนมาก หรือมีหน้าเปลี่ยนเส้นทางจำนวนมากที่คุณมีความสามารถในการรวบรวมข้อมูลงบประมาณในการจัดการ

สิ่งนี้ไม่ควรเป็นข้อกังวลมากนัก เนื่องจาก Google รวบรวมข้อมูลหน้าที่จัดทำดัชนีอย่างมีประสิทธิภาพ แต่เป็นสิ่งที่ควรทราบอย่างแน่นอน

ขีดจำกัดอัตราการรวบรวมข้อมูล

ขีดจำกัดอัตราการรวบรวมข้อมูลแตกต่างจากงบประมาณการตระเวนเล็กน้อย กำหนดจำนวนการเชื่อมต่อพร้อมกันที่ Googlebot ใช้ในการรวบรวมข้อมูลเว็บไซต์ และเวลาที่จะรอก่อนที่จะดึงหน้าอื่น

โปรดจำไว้ว่า Google เป็นทุกอย่างเกี่ยวกับประสบการณ์ของผู้ใช้ เหตุผลที่บอทใช้ขีดจำกัดอัตราการรวบรวมข้อมูลคือเพื่อป้องกันไม่ให้ไซต์ถูกบุกรุกโดยตัวแทนอัตโนมัติจนผู้ใช้ที่เป็นมนุษย์มีปัญหาในการโหลดไซต์บนเบราว์เซอร์ของตน

เปลี่ยนอัตราการรวบรวมข้อมูล

ปัจจัยสองสามประการที่ส่งผลต่ออัตราการรวบรวมข้อมูลมีดังนี้

  • ความเร็วเว็บไซต์ – หากเว็บไซต์ตอบสนองต่อ Googlebot อย่างรวดเร็ว Google จะเพิ่มอัตราการจำกัดการรวบรวมข้อมูล ในทางกลับกัน Google จะลดอัตราการรวบรวมข้อมูลสำหรับเว็บไซต์ที่เชื่องช้า
  • การตั้งค่าใน Search Console – ผู้ดูแลเว็บสามารถกำหนดขีดจำกัดการรวบรวมข้อมูลใน Search Console ได้เช่นกัน แม้ว่าจะไม่สามารถเพิ่มอัตราการรวบรวมข้อมูลได้ แต่ก็สามารถลดลงได้หากคิดว่า Google ทำการรวบรวมข้อมูลบนเซิร์ฟเวอร์มากเกินไป

โปรดทราบว่าแม้ว่าอัตราการรวบรวมข้อมูลที่ดีอาจได้รับการจัดทำดัชนีหน้าเว็บเร็วขึ้น แต่อัตราการรวบรวมข้อมูลที่สูงขึ้นไม่ใช่ปัจจัยในการจัดอันดับ

การตั้งค่าอัตราการรวบรวมข้อมูล

ความต้องการรวบรวมข้อมูล – รวบรวมข้อมูลงบประมาณสำหรับ SEO

แม้ว่าจะไม่ถึงขีดจำกัดการรวบรวมข้อมูล Google อาจลดจำนวนหน้าที่บอตรวบรวมข้อมูล กิจกรรมที่ลดลงจากบอทเรียกว่าการลดความต้องการในการรวบรวมข้อมูล

สิ่งที่ส่งผลต่อความต้องการรวบรวมข้อมูล? มีสองสิ่ง:

  • ความนิยม – เพจที่ได้รับความนิยมมากกว่า (นั่นคือ มีการแบ่งปันกันมากบนโซเชียลมีเดียและรับลิงค์จากเว็บไซต์อื่น) มักจะถูกรวบรวมข้อมูลบ่อย
  • ความไม่เสถียร – Google พยายามป้องกันไม่ให้ URL ค้างอยู่ในดัชนี

นอกจากนี้ เหตุการณ์ทั่วทั้งไซต์ (เช่น การย้ายไซต์) อาจส่งผลให้มีความต้องการรวบรวมข้อมูลเพิ่มขึ้น นั่นเป็นเพราะ Google จำเป็นต้องสร้างดัชนีเนื้อหาใหม่ด้วย URL ใหม่

อะไรที่ส่งผลต่องบประมาณการรวบรวมข้อมูล? – รวบรวมข้อมูลงบประมาณสำหรับ SEO

โดยทั่วไป งบประมาณการตระเวนคือการรวมกันของอัตราการตระเวนและความต้องการตระเวน ตาม Illyes งบประมาณการรวบรวมข้อมูลคือจำนวน URL ที่ Googlebot สามารถและต้องการรวบรวมข้อมูล

โชคดีที่ Google ได้ระบุอย่างแน่ชัดว่าปัจจัยใดบ้างที่ส่งผลต่องบประมาณการรวบรวมข้อมูล เรียงตามลำดับความสำคัญดังนี้

  • พารามิเตอร์ของ URL – มักเป็นกรณีที่ URL ฐาน (เช่น “http://mysite.com”) ถูกเพิ่มด้วยพารามิเตอร์ (เช่น “http://mysite.com?id=3”) ส่งคืนค่าเดียวกันทุกประการ หน้า. การตั้งค่าประเภทนี้อาจส่งผลให้มี URL ที่ไม่ซ้ำจำนวนมากนับรวมในงบประมาณการรวบรวมข้อมูล แม้ว่า URL ทั้งหมดจะส่งคืนหน้าเดียวกัน
  • เนื้อหาที่ซ้ำกัน – ในบางกรณี URL อาจไม่ซ้ำกันโดยสิ้นเชิงโดยไม่มีพารามิเตอร์คำขอและยังคงส่งคืนเนื้อหาเดิม ที่จะส่งผลเสียต่องบประมาณการรวบรวมข้อมูลเช่นกัน
  • หน้าข้อผิดพลาด Soft – หน้าข้อผิดพลาด Soft 404 ยังส่งผลต่องบประมาณการรวบรวมข้อมูลด้วย โชคดีที่มีการรายงานใน Search Console ด้วย
  • หน้าที่ถูกแฮ็ก – ไซต์ที่ตกเป็นเหยื่อของแฮ็กเกอร์สามารถเห็นงบประมาณการรวบรวมข้อมูลของพวกเขาถูกจำกัด
  • พื้นที่ ไม่จำกัด – ไซต์ที่มีลิงก์ไม่จำกัด (เช่น ปฏิทินที่ผู้ใช้สามารถคลิกวัน เดือน หรือปี) จะพบว่า Googlebot เปลืองงบประมาณการรวบรวมข้อมูลในลิงก์ที่อาจไม่มีความสำคัญ
  • เนื้อหาคุณภาพต่ำ – หากไซต์ประสบปัญหาคุณภาพต่ำ มีแนวโน้มว่า Google จะจำกัดงบประมาณการรวบรวมข้อมูล

วิธีเพิ่มประสิทธิภาพงบประมาณการรวบรวมข้อมูลของคุณ

เมื่อคุณคุ้นเคยกับแนวคิดเรื่องงบประมาณการรวบรวมข้อมูลสำหรับ SEO แล้ว ก็ถึงเวลาเพิ่มประสิทธิภาพไซต์ของคุณให้เหมาะสม มีหลายวิธีในการทำเช่นนั้น

1. ใช้เครื่องมือฟรี

– ทั้ง Google Search Console และ Bing Webmaster Tools ให้ข้อมูลมากมายเกี่ยวกับปัญหาที่อาจส่งผลเสียต่องบประมาณการรวบรวมข้อมูลของคุณ อย่าลืมใช้และกำหนดค่าสำหรับไซต์ทั้งหมดที่คุณกำลังตรวจสอบ

จากนั้น โปรดกลับมาตรวจสอบเครื่องมือเหล่านั้นเป็นระยะๆ เพื่อดูว่าไซต์ของคุณประสบปัญหาหรือไม่ ตัวอย่างเช่น หาก Search Console รายงานว่าไซต์ใดไซต์หนึ่งของคุณมีข้อผิดพลาด soft 404 ให้แก้ไขปัญหานั้นทันที

จำไว้ว่าทั้ง Google และ Microsoft ต้องการให้คุณประสบความสำเร็จทางออนไลน์ นั่นเป็นเหตุผลที่พวกเขาให้เครื่องมือเหล่านั้นฟรี

2. ตรวจสอบให้แน่ใจว่าหน้าของคุณสามารถรวบรวมข้อมูลได้

– การใช้ประโยชน์จากความมหัศจรรย์ของเทคโนโลยีสมัยใหม่เป็นเรื่องที่น่าดึงดูดใจ จนคุณทำให้ Googlebot รวบรวมข้อมูลไซต์ของคุณได้ยาก ต่อต้านสิ่งล่อใจนั้น

ตัวอย่างเช่น เทคโนโลยีอย่าง AJAX (Asynchronous JavaScript และ XML) จะโหลดเนื้อหาเพื่อให้ผู้ใช้ไม่ต้องรีเฟรชหน้า อย่างไรก็ตาม เนื้อหาที่โหลดโดย AJAX อาจไม่สามารถเข้าถึงได้โดย Googlebot นี่เป็นหัวข้อใหญ่ที่สแปมมากกว่าการรวบรวมข้อมูล SEO ดังนั้นเราจะบันทึกไว้สำหรับโพสต์อื่น แต่โดยพื้นฐานแล้ว คุณต้องมีฐาน HTML

นอกจากนี้ยังใช้แผนที่เว็บไซต์และให้แน่ใจว่ามันเป็นเสมอถึงวันที่ โชคดีที่ระบบจัดการเนื้อหาอย่าง WordPress ทำให้ง่ายต่อการทำเช่นนั้น

3. จำกัดการเปลี่ยนเส้นทาง

– ทุกครั้งที่หน้าใดหน้าหนึ่งในเว็บไซต์ของคุณเปลี่ยนเส้นทางไปยังหน้าอื่น (ด้วยการเปลี่ยนเส้นทาง 301 หรือ 302) จะใช้งบประมาณการรวบรวมข้อมูลเพียงเล็กน้อย ซึ่งหมายความว่าหากคุณมีการเปลี่ยนเส้นทางเป็นจำนวนมาก งบประมาณการรวบรวมข้อมูลของคุณอาจหมดลงก่อนที่ Googlebot จะรวบรวมข้อมูลหน้าเว็บที่คุณต้องการสร้างดัชนี

4. กำจัดลิงค์เสีย

– หากคุณมีลิงก์เสียจำนวนมากบนไซต์ของคุณ คุณจะต้องทำความสะอาดลิงก์เหล่านั้น หากคุณต้องการเพิ่มงบประมาณการรวบรวมข้อมูลให้สูงสุด

โชคดีที่มันง่ายที่จะหาลิงค์เสียด้วยเครื่องมืออย่าง Screaming Frog นอกจากนี้ อย่าลืมตรวจสอบกับ Google Search Console และ Bing Webmaster Tools เป็นครั้งคราว

5. หลีกเลี่ยงการใช้พารามิเตอร์ URL

– ดังที่เราได้เห็น คุณสามารถกินงบประมาณการรวบรวมข้อมูลจำนวนมากได้ด้วยพารามิเตอร์ URL ต่างๆ ที่ชี้กลับไปที่หน้าเดียวกัน คุณสามารถขจัดปัญหานั้นได้โดยการกำจัดพารามิเตอร์ URL โดยสิ้นเชิง

ตัวอย่างเช่น หากคุณกำลังใช้งานไซต์อีคอมเมิร์ซ คุณอาจใช้ URL ต่อไปนี้เพื่อแสดงผลิตภัณฑ์เฉพาะ: http://mysite.com/shop?productId=5 ให้เปลี่ยน URL นั้นเป็น http://mysite.com/shop/productId5 เพื่อให้เป็นเช่นนั้น ในการทำเช่นนั้น คุณจะลบพารามิเตอร์คำขออย่างน้อยหนึ่งรายการ

หากคุณต้องใช้พารามิเตอร์คำขอ อย่าลืมบอก Google ถึงวิธีจัดการพารามิเตอร์เหล่านั้นใน Search Console เพียงคลิกที่ "รวบรวมข้อมูล" ในแถบด้านข้างด้านซ้ายและเลือก "พารามิเตอร์ URL" จากเมนูที่ปรากฏขึ้น ในหน้านั้น คุณสามารถแก้ไขข้อเสนอแนะของคุณและเพิ่มพารามิเตอร์ใหม่เพื่อไม่ให้ Google จัดทำดัชนีหน้าที่ซ้ำกัน การดำเนินการนี้จะเปลี่ยนงบประมาณการรวบรวมข้อมูลสำหรับ SEO แต่ระวังให้ดีที่นี่ พารามิเตอร์ที่ไม่ถูกต้องสามารถทำลายเว็บไซต์ของคุณได้

6. ใช้การเชื่อมโยงภายใน

– เป็นกรณีที่หนึ่งในแง่มุมที่ถูกมองข้ามมากที่สุดของ SEO ในปัจจุบันคือการเชื่อมโยงภายใน อย่างไรก็ตาม พึงระลึกไว้เสมอว่า เป็นการดีที่สุดที่จะเชื่อมโยงภายในไปยังเพจที่สร้างผลกำไรสูงสุดของคุณ ด้วยวิธีนี้ Googlebot จะเห็นหน้าเหล่านั้นบ่อยขึ้น

7. ใช้การเชื่อมโยงภายนอก

– การศึกษาเมื่อเร็วๆ นี้แสดงให้เห็นว่ามีความสัมพันธ์ระหว่างลิงก์ภายนอกกับจำนวนครั้งที่ Googlebot รวบรวมข้อมูลเว็บไซต์ การรับลิงก์ภายนอกที่ชี้ไปยังไซต์ของคุณจึงเป็นเรื่องสำคัญ

อยู่นอกเหนือขอบเขตของบทความนี้เพื่อเข้าสู่ทุกวิถีทางที่คุณสามารถสร้างลิงก์ภายนอกได้ ดูรายการกลยุทธ์การลิงก์ย้อนกลับที่ครอบคลุมสำหรับข้อมูลเพิ่มเติม

8. ปรับปรุงความเร็วเซิร์ฟเวอร์ของคุณ

– สิ่งสำคัญคือต้องทำวิจัยก่อนการขายก่อนที่คุณจะเลือกผู้ให้บริการโฮสติ้ง นั่นเป็นเพราะคุณต้องการโฮสต์ที่ตอบสนองต่อคำขอของเซิร์ฟเวอร์อย่างรวดเร็ว

ยิ่งเซิร์ฟเวอร์ของคุณตอบสนองต่อคำขอหน้าเว็บได้เร็วเท่าใด Googlebot จะรวบรวมข้อมูลหน้าเว็บมากขึ้นเท่านั้น

9. แคชหน้าของคุณ

– เมื่อพูดถึงความเร็ว คุณควรแคชหน้าเว็บของคุณ พวกเขาจะโหลดเร็วขึ้น ไม่เพียงแต่สำหรับผู้ใช้แต่สำหรับ Googlebot ด้วย ทำให้ไซต์ของคุณมีขีดจำกัดอัตราการรวบรวมข้อมูลเพิ่มขึ้น

โชคดีที่ง่ายต่อการแคชหน้าบนแพลตฟอร์ม WordPress ด้วยปลั๊กอิน W3 Total Cache หรือปลั๊กอิน Super Cache

10. เพิ่มประสิทธิภาพความเร็วในการโหลดหน้าเว็บ

– เมื่อคุณวางไซต์ของคุณบนเซิร์ฟเวอร์ที่รวดเร็วและแคชหน้าเว็บของคุณแล้ว คุณอาจยังไม่เสร็จสิ้นด้วยการปรับความเร็วให้เหมาะสม ตรงไปที่เครื่องมือ PageSpeed ​​Insights และดูว่า Google คิดอย่างไรเกี่ยวกับความเร็วหน้าเว็บของคุณ

คุณอาจพบว่ายังมีปัญหาเล็กน้อยในไซต์ของคุณที่ทำให้หน้าเว็บของคุณไม่สามารถโหลดได้โดยเร็วที่สุด ตัวอย่างเช่น คุณอาจมี JavaScript หรือ CSS ที่บล็อกการแสดงผลบนหน้าเว็บของคุณ

ทดสอบความเร็วเว็บไซต์

โชคดีที่ Google ไม่เพียงแต่บอกคุณว่ามีอะไรผิดปกติกับเว็บไซต์ของคุณ แต่ยังรวมถึงวิธีแก้ไขปัญหาที่พบด้วย

สรุปงบประมาณการรวบรวมข้อมูลสำหรับ SEO

ตอนนี้ คุณรู้มากขึ้นเล็กน้อยเกี่ยวกับการรวบรวมข้อมูลงบประมาณ การเพิ่มประสิทธิภาพกลไกค้นหา และผลกระทบต่อไซต์ของคุณ

ทำไมไม่ใช้เวลาในวันนี้เพื่อจัดทำแผนปฏิบัติการเพื่อเพิ่มประสิทธิภาพงบประมาณการรวบรวมข้อมูลของคุณ สิ่งนี้มีประโยชน์อย่างมากสำหรับเว็บไซต์ขนาดใหญ่ และมักจะนำไปสู่การแก้ไขปัญหาอื่นๆ มากมายนอกเหนือจากการรวบรวมข้อมูล