BloggerでカスタムRobots.txtファイルを追加する方法は？

公開: 2020-11-10

以前の投稿の1つで、ブロガーのカスタムロボットヘッダータグ設定について説明しました。

あなたがその投稿を読んだなら、私はあなたたちが検索ランキングにおけるその重要性を知っていることを願っています。

今日、私は非常に便利で、Robots.txtというブログ用語を知っている必要があります。

ブロガーでは、Custom Robots.txtと呼ばれています。これは、選択に応じてこのファイルをカスタマイズできることを意味します。

今日のチュートリアルでは、この用語について深く説明し、その使用法と利点について理解するようになります。また、ブロガーにカスタムrobots.txtファイルを追加する方法についても説明します。

それでは、ガイドを始めましょう。

もっと…

Robots.txtとは何ですか？

robots.txtのは、簡単な数行のコードを含むテキストファイルです。

これはWebサイトまたはブログのサーバーに保存され、検索結果でブログのインデックスを作成してクロールする方法をWebクローラーに指示します。

つまり、ブログのWebページをWebクローラーから制限して、ブログのラベルページ、デモページ、またはインデックスを作成するのにそれほど重要ではないその他のページなどの検索エンジンでインデックスを作成できないようにすることができます。

検索クローラーは、Webページをクロールする前にrobots.txtファイルをスキャンすることを常に忘れないでください。

ブロガーでホストされている各ブログには、次のようなデフォルトのrobots.txtファイルがあります。

ユーザーエージェント：Mediapartners-Google

禁止：

ユーザーエージェント： *

禁止：/ search

許可：/

サイトマップ：http：//example.blogspot.com/feeds/posts/default？orderby = UPDATED

説明

このコードは3つのセクションに分かれています。最初にそれぞれを調べてから、blogspotブログにカスタムrobots.txtファイルを追加する方法を学びましょう。

ユーザーエージェント：Mediapartners-Google

このコードは、ブログでより良い広告を配信するのに役立つGoogleAdsenseロボット用です。ブログでGoogleAdsenseを使用しているか、そのままにしておかないかのどちらかです。

ユーザーエージェント： *

これは、アスタリスク（*）が付いているすべてのロボットに適用されます。デフォルト設定では、ブログのラベルリンクは検索クローラーによるインデックス作成に制限されています。つまり、以下のコードが原因で、ウェブクローラーはラベルページリンクにインデックスを付けません。

禁止：/ search

つまり、ドメイン名の直後にキーワード検索があるリンクは無視されます。 SEOという名前のラベルページのリンクである以下の例を参照してください。

http://www.bloggertipstricks.com/ search / label / SEO

また、上記のコードからDisallow：/ searchを削除すると、クローラーはブログ全体にアクセスして、すべてのコンテンツとWebページにインデックスを付けてクロールします。

ここで許可：/は、Webクローラーがブログのホームページをクロールしてインデックスを作成できることを意味するホームページを指します。

特定の投稿を禁止する

ここで、特定の投稿をインデックスから除外する場合は、コードに以下の行を追加できるとします。

禁止：/yyyy/mm/post-url.html

ここで、 yyyyとmmは、それぞれ投稿の発行年と発行月を示します。たとえば、2013年の3月に投稿を公開した場合は、以下の形式を使用する必要があります。

禁止：/2013/03/post-url.html

このタスクを簡単にするために、投稿URLをコピーして、ブログ名を最初から削除するだけです。

特定のページを禁止する

特定のページを禁止する必要がある場合は、上記と同じ方法を使用できます。ページのURLをコピーして、ブログのアドレスを削除すると、次のようになります。

禁止：/p/page-url.html

サイトマップ：http：//example.blogspot.com/feeds/posts/default？orderby = UPDATED

このコードは、ブログのサイトマップを参照しています。ここにサイトマップリンクを追加することで、ブログのクロール速度を最適化するだけです。

Webクローラーがrobots.txtファイルをスキャンするたびに、公開された投稿のすべてのリンクが存在するサイトマップへのパスが見つかることを意味します。

Webクローラーは、すべての投稿を簡単にクロールできるようになります。

したがって、Webクローラーが1つのブログ投稿を無視することなく、すべてのブログ投稿をクロールする可能性が高くなります。

注：このサイトマップは、最近の25件の投稿についてのみWebクローラーに通知します。サイトマップ内のリンクの数を増やしたい場合は、デフォルトのサイトマップを1つ以下に置き換えます。最近の最初の500件の投稿で機能します。

サイトマップ：http：//example.blogspot.com/atom.xml？redirect = false＆start-index = 1＆max-results = 500

ブログに500を超える公開投稿がある場合は、次のような2つのサイトマップを使用できます。

サイトマップ：http：//example.blogspot.com/atom.xml？redirect = false＆start-index = 1＆max-results = 500サイトマップ：http：//example.blogspot.com/atom.xml？redirect = false＆start-index = 500＆max-結果= 1000

カスタムRobots.TxtをBloggerに追加する

このチュートリアルの主な部分は、ブロガーにカスタムrobots.txtを追加する方法です。以下はそれを追加する手順です。

ブロガーのブログにアクセスします。
[設定] >> [検索設定]に移動します››クローラーとインデックス作成››カスタムrobots.txt ››編集››はい
次に、robots.txtファイルコードをボックスに貼り付けます。
[変更を保存]ボタンをクリックします。
完了です！

Robots.txtファイルを確認する方法は？

ウェブブラウザのブログURLの最後に/robots.txtを追加すると、ブログでこのファイルを確認できます。例えば：

http://www.yourblogurl.blogspot.com/ robots.txt

robots.txtファイルのURLにアクセスすると、カスタムrobots.txtファイルで使用しているコード全体が表示されます。

下の画像を参照してください。

最後の言葉！

これは、ブロガーにカスタムrobots.txtファイルを追加する方法に関する今日の完全なチュートリアルでした。

私はこのチュートリアルをできるだけシンプルで有益なものにするために最善を尽くしました。ただし、疑問や質問がある場合は、下のコメントセクションでお気軽にお問い合わせください。

知らないうちにカスタムrobots.txt設定にコードを入れないように注意してください。質問を解決するように私に頼んでください。すべてを詳しくお話しします。

このチュートリアルを読んでくれてありがとう。あなたがそれを好きなら、あなたのソーシャルメディアプロフィールでこの投稿を共有することによって私の言葉を広めるために私をサポートしてください。ハッピーブログ！