如何避免被刮？

我們有一個可搜尋的數據庫（DB），我們將結果限制為每頁 15 個，並且只有 100 個結果，但仍然讓人們試圖抓取該網站。

我們正在禁止訪問速度足夠快的網站。我想知道我們是否還有什麼可以做的。Flash渲染結果可能嗎？

您可以通過 AJAX 檢索記錄並為 AJAX 呼叫使用身份驗證 ID（如 API 密鑰）來使其變得更加困難。

當然，您可以通過讀取 ID 然後使用它發出 AJAX 請求來解決這個問題。

正如您所指出的那樣，使用 Flash 渲染是一種替代方法（儘管仍然不是 100% 不可抓取），就像在 PDF 中渲染一樣。

既然顯然對您的數據庫有需求，您是否考慮過扭轉它並提供刮板想要的東西？與爬蟲建立業務聯繫並鼓勵適當使用 API？

引用自：https://serverfault.com/questions/7178