Home > wordpress(フォーラム) > rockhopper2000 : “robots.txtについて(設定がまずいのか)”

rockhopper2000 : “robots.txtについて(設定がまずいのか)”

3 月 3rd, 2010

そもそもrobots.txtはサイトトップになければ有効でない

読み返してみたらそのことについて書いておりませんでした、失礼。

整理するとこういうことになると思います。

http://citylights.halfmoon.jp/robots.txt (手動で設置)
内容:

User-agent: *
Disallow:

Sitemap: http://citylights.halfmoon.jp/sitemap.xml
Sitemap: http://citylights.halfmoon.jp/dvd/sitemap.xml
Sitemap: http://citylights.halfmoon.jp/eigasai3/sitemap.xml

http://citylights.halfmoon.jp/dvd/robots.txt (手動設置分を削除)
http://citylights.halfmoon.jp/eigasai3/robots.txt (手動設置分を削除)
上記サイト2つともGoogle XML Sitemapsのrobots.txt自動設置を解除

○sitemap.xml関係
ウェブマスターツールに
http://citylights.halfmoon.jp/
http://citylights.halfmoon.jp/dvd/
http://citylights.halfmoon.jp/eigasai3/
を別サイトとして登録

それぞれsitemap.xmlを以下の場所にGoogle XML Sitemapsで作成して
http://citylights.halfmoon.jp/dvd/sitemap.xml
http://citylights.halfmoon.jp/eigasai3/sitemap.xml
それぞれのサイト用にウェブマスターツールに登録

http://citylights.halfmoon.jp/sitemap.xml
に関しては手動もしくは作成サイトなどを利用して作成、登録
(内容は上記の2サイト分のURLだけでよいと思います)

余談:レンタルサーバがさくらということですで関係ありませんが、
以下の記事は一度読んでおいた方がいいでしょう。
チカッパ・ロリポップの404は302? - 永遠にインデックスされ続ける削除ファイル
確かに存在しないファイルにアクセスしてみると
HTTP/1.x 302 Found→ttp://err.chicappa.jp/404.htmlにRedirectします。
robots.txtがない場合も同様です。

タグ: wordpress(フォーラム)

関連する投稿

Comments are closed.