これまたfc2ブログの方のお話。
私が持っているfc2ブログは6月15日にクロール数が激減し、更新しても記事がインデックスされない事態になった。
これは私のブログに限った話ではなく、fc2ブログ全体で起こっていたようだ。ただブログ毎の条件の違いにより、被害規模はかなり変化した模様。
過去記事は以下（どれもfc2ブログの方に書いたもの）。
・2013年06月22日：6月15日からGoogleにほぼクロールされなくなったみたいだよ
・2013年06月29日：Googleにクロールされなくなってから1週間経ったよ
・2013年07月06日：Googleにクロールされるページ数は低下したままながら、インデックスはされるようになった模様
・2013年07月13日： あれからほぼ一ヶ月が経ちました
・2013年07月27日：Googleのクロール頻度は相変わらず
全くクロールされないインデックスされないなんて最悪の事態は既に脱し、残るのはクロール数が低いことと、サイトマップが保留から動かないことだけとなっていた。
加えるならば、インデックスステータスの「インデックスに登録されたページの総数」 が減り続けていること（これはもっと以前から）。
とは言えど、新しい記事が比較的早くインデックスされるようになった以上、目に見えるほどの大きな害はないので放置していた。
だがどうしても、クロール数が一桁行進を続けるのが気になって気になって仕方が無く、思わずウェブマスターツールのクロールからクロール速度上限の設定を変更することにした。
以下の画像取得時間は全て2013年9月7日の23時台。
クロール速度の変更は、ウェブマスターツールの右上、歯車マークのところから行える。
「Googleの最大クロール速度を制限する」を選ぶと、下にバーが出てくるので、それを動かしてクロールの制限を変更する。
変更すると翌日もしくは翌々日に「新しい重要メッセージ」として表示される。設定変更が反映されまで暫くかかるようだ。
私は一度上限を上げたものの、面白いことになったので、クロール速度を「サイトに合わせて自動的に最適化する」に戻した。
その「面白いこと」が以下の画像。
クロール速度の上限を上げすぎて、めっちゃクロールされた。
変更する前のデータを表示部分が相対的に低くされまくって、もう見えない。
そんな訳で、元に戻したのでした。
よーく見ると分かるが、クロール速度を上げる前と後では、後の方が「1日あたりクロールされたページ数」が増えている。
クロールされまくったおかげで、張り巡らせていたブログ内リンクの中の4本が設定をミスっており、リンク切れを起こしていることも分かったので、まぁ意味はあったのかも？
関係があるのかは不明だが、減り続けていたインデックスステータスの「インデックスに登録されたページの総数」も回復。
なんてバランスの悪いV字。
ちなみに、クロール速度を変更する前の時点で、サイトマップは普通に処理されるようになっていた。
好奇心でクロール速度の変更を行ったが、そのおかげなのか気になっていた問題の全てが解決したので良かった良かった。
Sign up here with your email
ConversionConversion EmoticonEmoticon