如何限制Google對我的 IP 塊的抓取？

我在一個/24網路中有幾個網站，它們都被Google定期抓取。通常這很好。然而，當 google 開始同時抓取所有網站時，支持這個 IP 塊的一小部分伺服器可能會承受相當大的負載衝擊。

使用 google 網站管理員工具，您可以在給定域上限制 googlebot，但我還沒有找到一種方法來限制 bot 通過 IP 網路。有人有這方面的經驗嗎？你怎麼修好它的？

如果您執行 BGP，您可以簡單地對 AS15169 (AS-GOOGLE) 進行速率限制，但手動操作可能太容易出錯。

我發現這些筆記很有趣

1. 給自己一個 smart robots.txt和其他robots.txt文章那裡
2. 受Google機器人困擾的人在Google骯髒的小秘密上的文章
3. Google網路爬蟲

引用自：https://serverfault.com/questions/128937