検索エンジンにクロールされないように設定する
SEO的に、検索エンジンへの対応は必須となります。
検索エンジンに自サイトをクロールしてもらい、乗っけてもらうのは当然のことながら、全てクロールされてはちょっと困ってしまいます。
これはクロールしてもらっても、このファイルはクロールしてもらいたくないというのがあるのです。
Googleのウェブマスターツールで確認しますと、
「最適化」の「HTMLの改善」において、Googleがクロールした結果が表示されています。
その中に「重複するメタデータ」や「長いタイトルタグ」など、親切に「これはよくないですよ」と教えてくれています。
ウチのサイトも引っかかるものがありまして、「タイトルタグの記述なし」というところにムーバブルタイプのカレンダーを拾ってきて注意喚起されておりました。
どうやらPHP吐き出されたファイルを拾ってきているようです。
こういったファイルが「クロールされたくないもの」ということで、それをクロールしない設定とする方法を調べました。
「robots.txt」というテキストファイルを用意し、その中に、
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.cgi$
と記述しました。
これで、「PHP」と「ｊｓ」と「cgi」をクロールしないでくださいとロボットに言えるのです。