この前こちらの下の記事でグーグルサーチコンソールのクロールエラーの中の項目にあるURLエラーでwp-login.phpが403エラーになってしまった時の対処法について紹介しましたが、
あれからもURLエラーは起きませんでしたがこの下の画像のように今度は、この時ブロックしたはずのwp-login.phpが何故かインデックスされてしまうということが起きました。
これが起きて最初は頭の中が??状態でしたが、調べていくと段々とわかってきましたので何故このようなことが起きたのかとそれの対処法について紹介していきます。
robots.txt によりブロックされましたが、インデックスに登録しましたとグーグルサーチコンソールで出てしまった時の対処法!
何故robots.txtによりブロックしたのにも拘わらず、インデックスに登録されてしまうのか?
そもそもrobots.txtにブロックしたいURLを記述してGoogleのクローラーにクロールされないようにしたはずなのに何故インデックスされるのか不思議だったのですが、グーグルサーチコンソールのヘルプページで確認しますと以下のことが書かれていました。
robots.txt でブロックされていても、他の方法によってページがインデックスに登録されることがあります。 たとえば、Google がページを読み込む以外の方法でそのページに関する他の情報を検出した場合に、ページがインデックスに登録される場合があります(ただし、そうした事例はごくまれです)。
合っているかどうかはわかりませんが、これを見るともしかしたらrobots.txtでwp-login.phpをクロールしないように記述してブロックする前にGoogleのクローラーにクロールされたwp-login.phpがインデックスに登録されてしまったのではないかなと思いました。
他にも色々と調べましたが特にそのままにしておいてもwp-login.phpが検索結果に表示されるのは殆どないみたいで問題はないみたいでした。
しかし、上の画像に書かれているようにステータスの所が【警告】と出ているのはあんまり気分が良くないのでこれをどうにかしようと思いました。
いつものようにどうにかしようと思ったのですが、調べるとやり方があまりにも面倒くさかったので今回はその方法を紹介している方のサイトのリンクを貼って終わりたいと思います。
時間に余裕が出てこれば実践してみたいなと思います。