Jak dodać niestandardowy plik Robots.txt w Bloggerze?

W jednym z moich poprzednich postów omówiłem ustawienia niestandardowych tagów nagłówka robotów dla Bloggera.

Jeśli czytaliście ten post, to mam nadzieję, że jesteście świadomi jego znaczenia w rankingach wyszukiwania.

Dziś wróciłem z bardzo przydatnym i koniecznym terminem do blogowania, jakim jest Robots.txt.

W Bloggerze jest znany jako Custom Robots.txt, co oznacza, że ​​teraz możesz dostosować ten plik według własnego uznania.

W dzisiejszym samouczku szczegółowo omówimy ten termin i dowiemy się o jego zastosowaniu i zaletach. Powiem ci również, jak dodać niestandardowy plik robots.txt w Bloggerze.

Zacznijmy więc od przewodnika.

Jeszcze…

Co to jest plik Robots.txt?

Robots.txt to plik tekstowy, który zawiera kilka linii prostego kodu.

Jest zapisywany na stronie internetowej lub serwerze bloga, który instruuje roboty internetowe, jak indeksować i przeszukiwać Twojego bloga w wynikach wyszukiwania.

Oznacza to, że możesz ograniczyć dostęp do dowolnej strony internetowej na swoim blogu przed robotami internetowymi, aby nie były indeksowane w wyszukiwarkach, takich jak strona z etykietami na blogu, strona demonstracyjna lub inne strony, które nie są tak ważne, aby zostały zindeksowane.

Zawsze pamiętaj, że roboty wyszukiwarek skanują plik robots.txt przed zaindeksowaniem jakiejkolwiek strony internetowej.

Każdy blog hostowany na Bloggerze ma domyślny plik robots.txt, który wygląda mniej więcej tak:

Klient użytkownika: Mediapartners-Google

Zakazać:

Agent użytkownika: *

Disallow: / search

Dopuszczać: /

Mapa witryny: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Wyjaśnienie

Ten kod jest podzielony na trzy sekcje. Przyjrzyjmy się najpierw każdemu z nich, a następnie dowiemy się, jak dodać niestandardowy plik robots.txt w blogach blogspot.

Klient użytkownika: Mediapartners-Google

Ten kod jest przeznaczony dla robotów Google Adsense, które pomagają im wyświetlać lepsze reklamy na Twoim blogu. Albo korzystasz z Google Adsense na swoim blogu, albo po prostu nie zostawiasz go tak, jak jest.

Agent użytkownika: *

Dotyczy to wszystkich robotów oznaczonych gwiazdką (*). W ustawieniach domyślnych linki do etykiet naszego bloga są ograniczone do indeksowania przez roboty wyszukiwarek, co oznacza, że ​​roboty internetowe nie indeksują linków do naszych stron z etykietami z powodu poniższego kodu.

Disallow: / search

Oznacza to, że linki zawierające wyszukiwanie słów kluczowych tuż po nazwie domeny zostaną zignorowane. Zobacz poniższy przykład, który jest linkiem do strony z etykietą o nazwie SEO.

http://www.bloggertipstricks.com/ search / label / SEO

A jeśli usuniemy Disallow: / search z powyższego kodu, roboty indeksujące uzyskają dostęp do całego naszego bloga w celu zindeksowania i przeszukania całej jego zawartości i stron internetowych.

Tutaj Zezwalaj: / odnosi się do strony głównej, co oznacza, że ​​roboty internetowe mogą pobierać i indeksować stronę główną naszego bloga.

Nie zezwalaj na określony post

Teraz załóżmy, że jeśli chcemy wykluczyć określony post z indeksowania, możemy dodać poniższe wiersze w kodzie.

Disallow: /yyyy/mm/post-url.html

Tutaj rrrr i mm oznaczają odpowiednio rok publikacji i miesiąc wpisu. Na przykład, jeśli opublikowaliśmy post w roku 2013 w marcu, to musimy użyć poniższego formatu.

Disallow: /2013/03/post-url.html

Aby ułatwić to zadanie, możesz po prostu skopiować adres URL posta i usunąć nazwę bloga od początku.

Nie zezwalaj na określoną stronę

Jeśli musimy zablokować określoną stronę, możemy użyć tej samej metody, co powyżej. Po prostu skopiuj adres URL strony i usuń z niego adres bloga, który będzie wyglądał mniej więcej tak:

Disallow: /p/page-url.html

Mapa witryny: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Ten kod odnosi się do mapy witryny naszego bloga. Dodając tutaj link do mapy witryny, po prostu optymalizujemy szybkość indeksowania naszego bloga.

Oznacza to, że za każdym razem, gdy roboty sieciowe skanują nasz plik robots.txt, znajdą ścieżkę do naszej mapy witryny, na której znajdują się wszystkie linki do naszych opublikowanych postów.

Robotom internetowym łatwo będzie przeszukiwać wszystkie nasze posty.

W związku z tym istnieje większe prawdopodobieństwo, że roboty sieciowe indeksują wszystkie nasze posty na blogu bez ignorowania ani jednego.

Uwaga : ta mapa witryny informuje roboty sieciowe tylko o ostatnich 25 postach. Jeśli chcesz zwiększyć liczbę linków w mapie witryny, zamień domyślną mapę witryny na poniższą. Będzie działać dla pierwszych 500 ostatnich postów.

Mapa witryny: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jeśli masz więcej niż 500 opublikowanych postów na swoim blogu, możesz użyć dwóch map witryn, jak poniżej:

Mapa witryny: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Mapa witryny: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- wyniki = 1000

Dodawanie niestandardowego pliku Robots.Txt do Bloggera

Teraz główna część tego samouczka dotyczy dodawania niestandardowego pliku robots.txt w Bloggerze. Poniżej znajdują się kroki, aby go dodać.

1. Przejdź do swojego bloga w serwisie Blogger.
2. Przejdź do Ustawień >> Preferencje wyszukiwania ›› Przeszukiwacze i indeksowanie ›› Niestandardowy plik robots.txt ›› Edycja ›› Tak
3. Teraz wklej kod pliku robots.txt w polu.
4. Kliknij przycisk Zapisz zmiany.
5. Gotowe!

• Zapisać

Jak sprawdzić plik Robots.txt?

Możesz sprawdzić ten plik na swoim blogu, dodając /robots.txt na końcu adresu URL bloga w przeglądarce internetowej. Na przykład:

http://www.yourblogurl.blogspot.com/ robots.txt

Po odwiedzeniu adresu URL pliku robots.txt zobaczysz cały kod, którego używasz w niestandardowym pliku robots.txt.

Zobacz poniższy obrazek.

• Zapisać

Słowa końcowe!

To był dzisiejszy kompletny samouczek dotyczący dodawania niestandardowego pliku robots.txt w Bloggerze .

Starałem się, aby ten samouczek był tak prosty i pouczający, jak to tylko możliwe. Ale jeśli masz jakiekolwiek wątpliwości lub pytania, możesz zapytać mnie w sekcji komentarzy poniżej.

Upewnij się, że nie umieszczasz żadnego kodu w niestandardowych ustawieniach pliku robots.txt bez wiedzy o tym. Po prostu poproś mnie o odpowiedź na Twoje pytania. Powiem ci wszystko szczegółowo.

Dzięki za przeczytanie tego samouczka. Jeśli podobało Ci się to, proszę, wesprzyj mnie w rozpowszechnianiu moich słów, udostępniając ten post na swoich profilach społecznościowych. Miłego blogowania!