クローラーが Googlebot などの Google クローラーであることを確認する

DDoS攻撃の対策としてIPを指定してアクセス拒否を設定する場合はGooglebotを拒否しないように潮位が必要。Google botのIPアドレスは公開されているので、確認する。
https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ja

間違ってGooglebotを拒否している場合サイトマップが読み込めなくなったり、アクセス数が減少するので確認できる。