タグ別アーカイブ: KB Robots.txt

WordPress のrobots.txtを設定するKB Robots.txt

概要

検索エンジンがクロールする対象を設定できるrobots.txtというテキストファイルがあります。
クロールの仕方を設定する場合は、通常作成者がrobots.txtを作成しなければいけません。
クロールとは、検索エンジンにインデックスする(掲載させる)ために、
クローラーという検索エンジンのプログラムがWebページを巡回することをいいます。
クロールすることで、対象ページが検索エンジンに掲載されます。

続きを読む