如何使用 fail2ban 來阻止爬蟲？

我有一個媒體網站，使用者出現並抓取所有內容的問題。我在頁面上放置了一個不可見的 URL 以捕捉立即阻止 ip 的蜘蛛，但有些人已經弄清楚了 URL 方案並正在創建自己的腳本.

到目前為止，我看到的所有 fail2ban 過濾器都可以處理失敗的登錄嘗試，但我希望有一個更先進的過濾器，可以檢測、限制和/或阻止濫用者。抓取工具使用的 url 都是有效的，所以如果它們執行得足夠慢，我將無法分辨，但我想我可以通過 fail2ban 將業餘愛好者拒之門外。

如何以正確的方式在 fail2ban 中實施此過濾器，同時最大限度地減少對合法使用者的誤報？

我不太確定fail2ban 是否是正確的工具；您可能想查看類似 mod_security ( http://www.modsecurity.org/ ) 的內容。您將能夠跟踪來自會話或 IP 上下文的請求，定義描述可疑流量的規則，然後相應地拒絕/減慢它。

編輯：您沒有指定，所以我只是假設您使用的是 Apache。

引用自：https://serverfault.com/questions/279752