robots.txtの作り方
robots.txtを使っていますか?
検索エンジンは、あなたのサイトにやってくると、まず最初にこのファイルを探すのです。
robots.txtは、サイト内での検索エンジンの動きを指示するファイルなのです。
しかし、必ずすべての検索エンジンがこの指示に従ってくれるかどうかは分かりません。
主に、「インデックスしてくれるな!」という時に使用します。
robots.txtは、必ずトップページと同じディレクトリにアップします。
まずは、検索エンジンを指定します。
User-agent: *
この「*」は、「任意の」という意味で、この記述の場合は「すべての検索エンジン」となります。
Disallow: /
すべてのページをインデックスしないでくださいという指示です。
User-agent: *
Disallow: /test1/
Disallow: /test2/
これで、
すべての検索エンジンは、「test1フォルダ」と「test2フォルダ」の中身をインデックスしないでください。
という意味なのです。
もともとインデックスしてほしくないページはもちろんですが、作成中のページがあるときなどによく使います。
検索エンジンのペナルティ対象の1つとして、ミラーページがあります。
これは、ほぼ同じページのことです。
「作成中です」としか書かれていないページが複数あると、ミラーページですよね。
そんなときに、robots.txtを使用して、「インデックスしないでくれ」と指示するのです。
作り方はごく簡単です。
テキストファイルを新規作成して、ファイル名を「robots.txt」、内容を上記のもの。
そのまま、アップしてしまえばOKです。
robots.txtは、
必ず作る
のです。
smile@ais-co.biz
