Anggaran Perayapan Google untuk SEO, BERHENTI Menebak! (Info Nyata Disini)

Diterbitkan: 2021-07-13

Jika Anda ingin halaman di situs web Anda terindeks dengan cepat, maka Anda perlu memahami arti anggaran perayapan untuk SEO.

Ini benar-benar mempengaruhi semua situs besar dan kecil. Namun seringkali, situs besar, situs dengan kesalahan teknis atau situs dengan fitur unik penghasil URL sangat perlu diperhatikan di sini.

Tapi tunggu!

Aku mendahului diriku sendiri. Mari kita mulai sedikit lebih lambat.

Semua yang Perlu Anda Ketahui Tentang Anggaran Perayapan untuk SEO

Semua yang Perlu Anda Ketahui Tentang Anggaran Perayapan untuk SEO

Konsep anggaran perayapan pernah menjadi permainan tebak-tebakan di kalangan SEO. Namun, berkat posting terbaru oleh Gary Illyes dari Google, kita semua sekarang jauh lebih terinformasi.

Dalam artikel ini, kami akan membahas semua yang perlu Anda ketahui tentang anggaran perayapan dan menawarkan beberapa kiat pengoptimalan.

Apa itu Anggaran Perayapan?

Sebelum Anda dapat memahami konsep anggaran perayapan untuk SEO, Anda harus terlebih dahulu membiasakan diri dengan istilah lain: Googlebot.

Googlebot adalah nama yang diberikan kepada agen otomatis yang merayapi situs Anda mencari halaman untuk ditambahkan ke indeksnya. Anda dapat menganggapnya sebagai peselancar web digital.

Karena ada miliaran dan miliaran halaman di web, tidak praktis bagi Googlebot untuk merayapinya setiap detik setiap hari. Melakukannya akan menghabiskan bandwidth online yang berharga, menghasilkan situs web yang berkinerja lebih lambat.

Jadi Google mengalokasikan anggaran perayapan untuk setiap situs web. Anggaran itu menentukan seberapa sering Googlebot merayapi situs yang mencari halaman untuk diindeks.

Google mendefinisikan misi anggaran perayapan sebagai berikut: “Memprioritaskan apa yang akan dirayapi, kapan, dan berapa banyak sumber daya yang dapat dialokasikan oleh server yang menghosting situs web untuk perayapan lebih penting untuk situs web yang lebih besar, atau situs yang menghasilkan halaman secara otomatis berdasarkan parameter URL , sebagai contoh."

Mengapa Pengoptimalan Anggaran Perayapan Penting untuk SEO?

Jawabannya adalah mendasar dan sederhana. Semakin baik anggaran perayapan dioptimalkan untuk mengindeks halaman, semakin tinggi peringkatnya di Google.

Sangat penting untuk memastikan bahwa jika Anda memiliki situs besar, khususnya eCommerce, atau telah menambahkan banyak halaman atau memiliki banyak halaman yang dialihkan, Anda memiliki kapasitas anggaran perayapan untuk menanganinya.

Namun, ini seharusnya tidak menjadi perhatian besar, karena Google merayapi halaman yang diindeks secara efisien tetapi tentu saja sesuatu yang harus diperhatikan.

Batas Kecepatan Perayapan

Batas kecepatan perayapan sedikit berbeda dari anggaran perayapan. Ini menentukan berapa banyak koneksi simultan yang digunakan Googlebot untuk merayapi situs dan waktu yang akan menunggu sebelum mengambil halaman lain.

Ingat, Google adalah tentang pengalaman pengguna. Alasan botnya menggunakan batas kecepatan perayapan adalah untuk mencegah situs dikuasai oleh agen otomatis sedemikian rupa sehingga pengguna manusia mengalami kesulitan memuat situs di browser mereka.

ubah kecepatan perayapan

Berikut adalah beberapa faktor yang memengaruhi kecepatan perayapan:

  • Kecepatan situs web – Jika situs merespons Googlebot dengan cepat, maka Google akan meningkatkan tingkat batas perayapan. Di sisi lain, Google akan menurunkan tingkat perayapan untuk situs web yang lamban.
  • Pengaturan di Search Console – Webmaster juga dapat mengatur batas perayapan di Search Console. Meskipun mereka tidak dapat meningkatkan kecepatan perayapan, mereka dapat menurunkannya jika menurut mereka Google melakukan terlalu banyak perayapan di server mereka.

Ingatlah bahwa, meskipun tingkat perayapan yang sehat mungkin membuat halaman diindeks lebih cepat, tingkat perayapan yang lebih tinggi bukanlah faktor peringkat.

pengaturan tingkat perayapan

Permintaan Perayapan – Anggaran Perayapan untuk SEO

Bahkan jika batas perayapan tidak tercapai, Google mungkin mengurangi jumlah laman yang dirayapi botnya. Penurunan aktivitas dari bot disebut pengurangan permintaan perayapan.

Apa yang memengaruhi permintaan perayapan? Ada beberapa hal:

  • Popularitas – Halaman yang lebih populer (yaitu, banyak dibagikan di media sosial dan menerima tautan dari situs web lain) cenderung lebih sering dirayapi.
  • Staleness – Google berusaha untuk menjaga agar URL tidak menjadi basi dalam indeksnya.

Selain itu, peristiwa di seluruh situs (seperti pemindahan situs) dapat mengakibatkan peningkatan permintaan perayapan. Itu karena Google perlu mengindeks ulang konten dengan URL baru.

Apa yang Mempengaruhi Anggaran Perayapan? – Anggaran Perayapan untuk SEO

Pada dasarnya, anggaran perayapan adalah kombinasi dari tingkat perayapan dan permintaan perayapan. Menurut Illyes, anggaran perayapan adalah jumlah URL yang dapat dan ingin dirayapi oleh Googlebot.

Untungnya, Google telah mengidentifikasi dengan tepat faktor mana yang memengaruhi anggaran perayapan. Berikut daftarnya, diurutkan berdasarkan kepentingannya:

  • Parameter URL – Sering terjadi bahwa URL dasar (misalnya, “http://situssaya.com”) ditambahkan dengan parameter (misalnya, “http://situssaya.com?id=3”) mengembalikan persis sama halaman. Penyiapan semacam itu dapat menghasilkan banyak URL unik yang diperhitungkan dalam anggaran perayapan meskipun semua URL tersebut menampilkan halaman yang sama.
  • Konten duplikat – Dalam beberapa kasus, URL bisa benar-benar unik tanpa parameter permintaan dan tetap menampilkan konten yang sama. Itu akan berdampak buruk pada anggaran perayapan juga.
  • Halaman kesalahan lunak – Halaman kesalahan 404 lunak juga memengaruhi anggaran perayapan. Untungnya, mereka juga dilaporkan di Search Console.
  • Halaman yang diretas – Situs yang telah menjadi korban peretas dapat melihat anggaran perayapan mereka terbatas.
  • Ruang tak terbatas – Situs yang memiliki tautan tak terbatas (seperti kalender tempat pengguna dapat mengeklik pada hari, bulan, atau tahun) akan mendapati bahwa Googlebot membuang anggaran perayapannya pada tautan yang mungkin tidak penting.
  • Konten berkualitas rendah – Jika situs memiliki kualitas buruk, kemungkinan Google akan membatasi anggaran perayapan.

Cara Mengoptimalkan Anggaran Perayapan Anda

Sekarang setelah Anda terbiasa dengan konsep anggaran perayapan untuk SEO, saatnya untuk mengoptimalkan situs Anda sesuai dengan itu. Berikut adalah beberapa cara untuk melakukan hal itu.

1. Gunakan Alat Gratis

– Baik Google Search Console dan Bing Webmaster Tools memberi Anda banyak informasi tentang masalah yang dapat memengaruhi anggaran perayapan Anda. Pastikan untuk menggunakannya dan konfigurasikan untuk semua situs yang Anda pantau.

Kemudian, periksa kembali dengan alat tersebut dari waktu ke waktu untuk melihat apakah situs Anda mengalami masalah. Misalnya, jika Search Console melaporkan bahwa salah satu situs Anda memiliki beberapa kesalahan 404, pastikan untuk segera memperbaiki masalah tersebut.

Ingat, baik Google maupun Microsoft ingin Anda sukses secara online. Itu sebabnya mereka menyediakan alat-alat itu secara gratis.

2. Pastikan Halaman Anda Dapat Dirayapi

– Sangat menggoda untuk memanfaatkan keajaiban teknologi modern sedemikian rupa sehingga Anda mempersulit Googlebot untuk merayapi situs Anda. Tahan godaan itu.

Misalnya, teknologi seperti AJAX (Asynchronous JavaScript and XML) memuat konten sehingga pengguna tidak perlu me-refresh halaman. Namun, konten yang dimuat oleh AJAX mungkin tidak dapat diakses oleh Googlebot. Ini adalah topik besar yang spam di luar anggaran perayapan SEO, jadi kami akan menyimpannya untuk posting lain. Tetapi pada dasarnya, Anda harus memiliki basis HTML.

Juga, gunakan peta situs dan pastikan selalu mutakhir. Untungnya, sistem manajemen konten seperti WordPress memudahkan untuk melakukan itu.

3. Batasi Pengalihan

– Setiap kali salah satu halaman di situs Anda dialihkan ke halaman lain (dengan pengalihan 301 atau 302), itu menggunakan sebagian kecil dari anggaran perayapan Anda. Itu berarti jika Anda memiliki banyak pengalihan, anggaran perayapan Anda bisa habis sebelum Googlebot merayapi halaman yang ingin Anda indeks.

4. Hilangkan Tautan Rusak

– Jika Anda memiliki banyak tautan rusak di situs Anda, Anda harus membersihkannya jika ingin memaksimalkan anggaran perayapan Anda.

Untungnya, mudah untuk menemukan tautan yang rusak dengan alat seperti Screaming Frog. Juga, pastikan untuk memeriksa dengan Google Search Console dan Bing Webmaster Tools dari waktu ke waktu.

5. Hindari Menggunakan Parameter URL

– Seperti yang telah kita lihat, Anda dapat menghabiskan sebagian besar anggaran perayapan Anda dengan parameter URL berbeda yang mengarah kembali ke halaman yang sama. Anda dapat menghilangkan masalah itu, tentu saja, dengan menghilangkan parameter URL sepenuhnya.

Misalnya, jika Anda menjalankan situs e-niaga, Anda dapat menggunakan URL berikut untuk menampilkan produk tertentu: http://mysite.com/shop?productId=5. Sebagai gantinya, ubah URL itu menjadi http://mysite.com/shop/productId5 jadi seperti itu. Dengan demikian, Anda akan menghilangkan setidaknya satu parameter permintaan.

Jika Anda harus menggunakan parameter permintaan, pastikan untuk memberi tahu Google cara menangani parameter tersebut di Search Console. Cukup klik "Perayapan" di bilah sisi kiri dan pilih "Parameter URL" dari menu yang muncul. Pada halaman tersebut, Anda dapat mengedit saran dan menambahkan parameter baru sehingga Google tidak mengindeks halaman duplikat. Ini akan mengubah anggaran perayapan Anda untuk SEO. Tapi hati-hati di sini, parameter yang salah dapat merusak situs web Anda.

6. Gunakan Tautan Internal

– Bisa dibilang kasus bahwa salah satu aspek SEO yang paling diabaikan saat ini adalah internal linking. Namun, perlu diingat bahwa biasanya yang terbaik adalah menautkan secara internal ke halaman Anda yang paling menguntungkan. Dengan begitu, Googlebot akan lebih sering melihat halaman tersebut.

7. Gunakan Tautan Eksternal

– Sebuah studi baru-baru ini menunjukkan bahwa ada korelasi antara tautan eksternal dan berapa kali Googlebot merayapi sebuah situs. Itulah mengapa penting untuk mendapatkan tautan eksternal yang mengarah ke situs Anda.

Ini di luar cakupan artikel ini untuk membahas semua cara Anda dapat membangun tautan eksternal. Lihat daftar lengkap strategi backlink ini untuk info lebih lanjut.

8. Tingkatkan Kecepatan Server Anda

– Sangat penting untuk melakukan riset pra-penjualan sebelum Anda memilih penyedia hosting. Itu karena Anda menginginkan host yang merespons permintaan server dengan sangat cepat.

Semakin cepat server Anda menanggapi permintaan halaman, semakin banyak halaman yang akan dirayapi oleh Googlebot.

9. Cache Halaman Anda

– Berbicara tentang kecepatan, itu ide yang sangat bagus untuk cache halaman web Anda. Mereka akan memuat lebih cepat tidak hanya untuk pengguna, tetapi juga untuk Googlebot, memberikan situs Anda peningkatan batas kecepatan perayapan.

Untungnya, mudah untuk men-cache halaman di platform WordPress dengan plugin W3 Total Cache atau plugin Super Cache.

10. Optimalkan Kecepatan Muat Halaman

– Setelah Anda meletakkan situs Anda di server yang cepat dan menyimpan halaman Anda dalam cache, Anda mungkin masih belum selesai dengan pengoptimalan kecepatan. Buka alat PageSpeed ​​Insights dan lihat pendapat Google tentang kecepatan halaman Anda.

Anda mungkin menemukan bahwa masih ada beberapa masalah di situs Anda yang mencegah halaman Anda dimuat secepat mungkin. Misalnya, Anda mungkin memiliki JavaScript atau CSS yang memblokir perenderan di halaman Anda.

tes kecepatan situs

Untungnya, Google tidak hanya memberi tahu Anda apa yang salah dengan situs Anda, tetapi juga cara memperbaiki masalah yang teridentifikasi.

Membungkus Anggaran Perayapan untuk SEO

Sekarang Anda tahu sedikit lebih banyak tentang anggaran perayapan, pengoptimalan mesin telusur, dan pengaruhnya terhadap situs Anda.

Mengapa tidak meluangkan waktu hari ini untuk menyusun rencana tindakan untuk mengoptimalkan anggaran perayapan Anda? Ini bisa sangat membantu untuk situs web besar dan sering kali mengarah pada perbaikan banyak masalah lain di luar perayapan.