WordPress のrobots.txtを設定するKB Robots.txt

概要

検索エンジンがクロールする対象を設定できるrobots.txtというテキストファイルがあります。
クロールの仕方を設定する場合は、通常作成者がrobots.txtを作成しなければいけません。
クロールとは、検索エンジンにインデックスする(掲載させる)ために、
クローラーという検索エンジンのプログラムがWebページを巡回することをいいます。
クロールすることで、対象ページが検索エンジンに掲載されます。

手順

[1]インストール
KB Robots.txt
管理画面 > プラグイン >新規追加よりプラグイン名を入力して検索

[2]設定
KB Robots.txt

管理画面  >設定> KB Robots.txt

Robots.txt Editorを開く

入力フォーム部にrobots.txtの内容を書きます。

初期に設定されている

# This is your robots.txt file. Visit Options->Robots.txt to change this text.

はコメント行のため消しても消さなくても良いです。

Robots.txt Editorの「Robots.txt Samples」に記述のサンプルが記載されています。

Robots.txt Samples

■Ban all robots(全ロボット拒否)

User-agent: *
Disallow: /

■Allow all robots(全ロボット許可)

User-agent: *
Disallow:

■Ban specific robots(特定のロボット拒否)

下記の場合Google botを拒否

User-agent: Googlebot
Disallow: /

■Allow specific robots(特定のロボットに許可)

下記の場合Google botのみ許可

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

■Ban robots from part of your site(特定のページのみ拒否)/

下記の場合/archives/のクロールを禁止
User-agent: *
Disallow: /archives/

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>