がべのWP練習帳

日々のあれこれをWPの練習がてら書くブログ

robots.txtが500 Internal Server Error – ある日突然Google先生から「お前のサイト見れないから載せねェーから。」って言われたら

   

先日新しくドメインを取って、サイトを作ったわけなんですが、今日Google先生から突然の手紙が来て背筋が凍りつきました。

突然のお知らせ「ロボットが見れないぞこんにゃろー」

croll_error_5

僕はよく英語はわからないんですが、どうやら

「君のサイト、Googlebotがアクセスできないからね。どのページもクロールできないからね。」

という内容だったっぽいです。

これ、どこかで見たんですが、これが続くとインデックスから消されるとかなんとか。

やばいと思ってあれこれ試したらなんとかクロールして貰えることになりました。

やったこと

robot.txtを確認しろよな!って言われてるんですが、サーバー上にそんなファイルないんですね。

で、とりあえず落ち着こうと思って、ワードプレスの設定を見てみました。

croll_error_1

ここの「検索エンジンでの表示」の項目で「検索エンジンがサイトをインデックスしないようにする」にチェックが入ってるんじゃないか!?とか思ったからです。

robots.txtと関係あるのかどうかは全然わかりませんが、とりあえずチェックは入ってなかったので次に進みました。

サーバー上のrobots.txtにアクセスしてみる

Google先生から「ちょっとrobots.txtにアクセスしてみ。おまえが出来ておれが出来ないのか、二人ともできないのかわかんないから」と言われた気がしたので、ブラウザ上からアクセスしてみました。

すると、本来サーバー上にないんだから404が返ってこないとおかしいはずのrobots.txtが500 Internal Server Errorを返してきたんです。

croll_error_2

これはなんか挙動がおかしいなと。

で、調べてみたら、「存在しないファイルにアクセスして500エラーが表示される時は.htaccessファイルを疑え」って書かれてるページがあったので見てみることに。(ページ失念)

.htaccessファイルを見てみた

すると中に

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /xxxxxx(サーバーディレクトリ名)/
RewriteRule ^index\.php$ – [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /xxxxxx(サーバーディレクトリ名)/index.php [L]
</IfModule>
# END WordPress

あれー

こんなの設定した覚えないんだけど。

と、思ったので

# BEGIN WordPress
# END WordPress

こうやって上書きしてやったところ、ブラウザからrobots.txtにアクセスしたら404だったので、試しにFetch as Googleさんで取得してみたら

croll_error_4

いけやした!!!

おわりに

そんなわけで、大したことはしていないけれど、なんとかrobots.txtに嗅ぎまわって貰えるようで嬉しいです。

今回改めてウェブマスターツールのありがたみを知りました。

もしこれに気づいていなかったら、いくら良質な記事をたくさん書いても誰にも見てもらえなくなっちゃうんだなって再認識。

誰にも・・・

hit_error

ファーwww

 - ウェブ , ,

Adsense

Adsense

  関連記事

Amazonのprime dayで天野喜孝原画がなんと60,000,000円オフw

Amazonがprime dayという一日限りのセールをするそうですね。 僕のと …

no image
2015年これからWordPress始めようかなーと言う人に向けたメリットデメリット

前回「ワードプレスってすごいよねー」という記事を書いたわけですが、 具体的にどこ …

iOS+Windows、ブラウザはChrome、お買いものはAmazon。

今日ふと気づいたコト。。 スマホはiOSなのに PCはWindows。。 ブラウ …

Sonyの電子書籍はebookStoreであって、ebookJapanではなかったという話

My Sony Clubから電子図書券のプレゼントが来ました。 実は昨年末に1, …

これいいの!?Google Adsenseの二次審査に通ったサイトのクオリティが低すぎるw

先日、無事にGoogle Adsenseの二次審査に通り、念願の広告が表示される …

ドメイン買ったら中古だった。しかも被リンク3,631もついてた。

先日、「いっちょアフィリエイトやってみっか!」と思って、サイト構築したもんでドメ …

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です