禁止 amazonaws.com 是個好主意嗎

網站由託管在亞馬遜 ec2 上的匿名機器人抓取。該機器人不尊重 robots.txt 並在 Web 伺服器上創建高負載，因此我添加了檢查請求的反向 IP 是否以“amazonaws.com”結尾，然後伺服器立即返回 403 頁面。

這解決了問題，但可能會導致其他問題？ec2 可能用於一些“好”的機器人，這將導致他們的訪問問題。你能舉出這些問題的例子嗎？

Amazon EC2 是一個託管平台。他們不直接控制人們託管的內容。如果您阻止整個 *.amazonaws.com 域，那麼您將停止使用 EC2 訪問任何託管服務。這些天來相當多。

查看這個類似的問題：它顯示瞭如何直接在 .htaccess 文件中被使用者代理阻止。這對於不遵守您的 robots.txt 規則的機器人很有用…

httpd.conf 中的使用者代理字元串阻止無效

您可以將它放在 httpd.conf 文件或 .htaccess 中。

祝你好運。

引用自：https://serverfault.com/questions/311922