Bagaimana Cara Menambahkan File Robots.txt Kustom di Blogger?
Diterbitkan: 2020-11-10Di salah satu postingan saya sebelumnya, saya pernah membahas Setting Tag Header Robot Kustom untuk blogger.
Jika Anda telah membaca posting itu maka saya harap kalian sadar akan pentingnya dalam peringkat pencarian.
Hari ini, saya kembali dengan istilah blogging yang sangat berguna dan harus sadar yaitu Robots.txt.
Di blogger dikenal dengan Custom Robots.txt yang artinya sekarang anda bisa menyesuaikan file ini sesuai pilihan anda.
Dalam tutorial hari ini, kita akan membahas istilah ini secara mendalam dan mengetahui tentang penggunaan dan manfaatnya. Saya juga akan memberi tahu Anda cara menambahkan file robot.txt kustom di blogger.
Jadi mari kita mulai panduannya.
Lebih…
Apa itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana.
Itu disimpan di situs web atau server blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog Anda di hasil penelusuran.
Itu berarti Anda dapat membatasi halaman web apa pun di blog Anda dari perayap web sehingga tidak dapat diindeks di mesin telusur seperti halaman label blog, halaman demo, atau halaman lain yang tidak penting untuk diindeks.
Ingatlah selalu bahwa crawler pencarian memindai file robots.txt sebelum merayapi halaman web mana pun.
Setiap blog yang dihosting di blogger memiliki file robots.txt defaultnya yang terlihat seperti ini:
Agen-pengguna: Mediapartners-Google
Melarang:
Agen pengguna: *
Disallow: / search
Izinkan: /
Peta Situs: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan
Kode ini dibagi menjadi tiga bagian. Mari kita pelajari terlebih dahulu masing-masing setelah itu kita akan belajar cara menambahkan file robot.txt kustom di blog blogspot.
Agen-pengguna: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak membiarkannya begitu saja.
Agen pengguna: *
Ini untuk semua robot yang bertanda asterisk (*). Dalam pengaturan default, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian, yang berarti crawler web tidak akan mengindeks link halaman label kami karena kode di bawah ini.
Disallow: / search
Itu berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan link dari halaman label bernama SEO.
http://www.bloggertipstricks.com/ search / label / SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan meng-crawl semua konten dan halaman webnya.
Di Sini Diizinkan: / merujuk ke Beranda yang berarti perayap web dapat merayapi dan mengindeks beranda blog kami.
Larang Posting Khusus
Sekarang misalkan jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan baris di bawah ini dalam kode.
Larang: /yyyy/mm/post-url.html
Di sini yyyy dan mm mengacu pada tahun dan bulan penerbitan posting masing-masing. Misalnya jika kita telah menerbitkan sebuah posting di tahun 2013 di bulan Maret maka kita harus menggunakan format di bawah ini.
Disallow: /2013/03/post-url.html
Untuk mempermudah tugas ini, Anda cukup menyalin URL posting dan menghapus nama blog dari awal.
Larang Halaman Tertentu
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog darinya yang akan terlihat seperti ini:
Larang: /p/page-url.html
Peta Situs: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan peta situs di sini kami hanya mengoptimalkan tingkat perayapan blog kami.
Berarti setiap kali perayap web memindai file robots.txt kami, mereka akan menemukan jalur ke peta situs kami di mana semua tautan dari entri yang kami terbitkan ada.
Penjelajah web akan merasa mudah untuk merayapi semua posting kami.
Karenanya, ada kemungkinan lebih baik bahwa perayap web merayapi semua entri blog kita tanpa mengabaikan satu pun.
Catatan : Peta situs ini hanya akan memberi tahu crawler web tentang 25 postingan terbaru. Jika Anda ingin menambah jumlah link di peta situs, ganti peta situs default dengan di bawah ini. Ini akan berfungsi untuk 500 posting terbaru pertama.
Peta Situs: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 posting yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:
Peta Situs: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- hasil = 1000
Menambahkan Custom Robots.Txt ke Blogger
Sekarang bagian utama dari tutorial ini adalah cara menambahkan robot.txt kustom di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.
- Kunjungi blog blogger Anda.
- Navigasikan ke Pengaturan >> Preferensi Pencarian ›› Perayap dan pengindeksan ›› Robot.txt khusus ›› Edit ›› Ya
- Sekarang tempel kode file robots.txt Anda di dalam kotak.
- Klik tombol Simpan Perubahan.
- Kamu selesai!

- Menyimpan

Bagaimana Cara Memeriksa File Robots.txt Anda?
Anda dapat memeriksa file ini di blog Anda dengan menambahkan /robots.txt di akhir URL blog Anda di browser web. Sebagai contoh:
http://www.yourblogurl.blogspot.com/ robots.txt
Setelah Anda mengunjungi URL file robots.txt, Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda.
Lihat gambar di bawah ini.

- Menyimpan
Kata-kata Terakhir!
Demikian tutorial lengkap hari ini tentang cara menambahkan file robot.txt kustom di blogger .
Saya mencoba yang terbaik untuk membuat tutorial ini sesederhana dan seinformatif mungkin. Tetapi tetap jika Anda memiliki keraguan atau pertanyaan, silakan bertanya kepada saya di bagian komentar di bawah.
Pastikan untuk tidak memasukkan kode apa pun ke dalam setelan robot.txt khusus Anda tanpa mengetahuinya. Cukup minta saya untuk menyelesaikan pertanyaan Anda. Saya akan memberi tahu Anda semuanya secara detail.
Terima kasih teman-teman telah membaca tutorial ini. Jika Anda menyukainya maka tolong dukung saya untuk menyebarkan kata-kata saya dengan membagikan posting ini di profil media sosial Anda. Selamat Ngeblog!