オメガギーク

アクセス解析のページを開いてみたらアクセス数が激減していて、（１）何かサーバのトラブル、（２）何か規約違反していてXREAにアカウント凍結された、（３）Google八分された（もともとGoogle経由のアクセスの割合が非常に多いのです）、（４）これが内容にふさわしいアクセス数、といった可能性が頭に浮かびましたが、結局XREAと上位レジストラの間のトラブルでした。

これを書いている時点で既に解決されているようですが、ふと不思議に思ったのが「このトラブル中にGoogle等のロボットが巡回してきていた場合どうなるんだろう」ということです。

Google等ではページが無くなっている場合インデックスから削除するということになると思うのですが、どういったタイミングで削除しているのでしょう？
多分何回もの確認がされるのだろうとは思いますが、完全に無くなっていると判断されたURLについては巡回の対象としないようにしているんじゃないかとも思います。何回かの巡回のときに偶然サーバが落ちていたらどうなるんでしょう。

また仮にサイトが無くなったURLについて巡回しないようにした場合は、同じURLで別の人・団体が新しいサイトを作った時はどうしているのでしょう？

さらに特にGoogleではページランクの根拠が被リンク数ですから各ページのリンクを辿っているのでしょうが、デッドリンク状態が長く続いているリンクはどうしているのでしょう？

検索エンジンが完全性を目指すとそういった「巡回に失敗したことがあるURL」に対しても、少なくとも相当のリトライがされているんじゃないかと思います。

何が言いたいかというと加速度的に増加すると思われる「消滅したサイト」や「リンク切れ」がロボットの効率にものすごい影響を与えているのじゃないかということです。もっとも、私が想像もできないくらい頭のいい人たちがやっていることですので解決方法が編み出されているのでしょうが。

（「新しく存在するようになったページ・リンクの増加率」が「消滅したサイト・リンク切れの増加率」(それぞれ率じゃなくて数？)を大幅に上回っているとしたら大した影響はないのかもしれませんが。）