Limits

雷達下的聚合

  • May 20, 2015

我正在考慮編寫一個從一個相當流行的網站聚合資訊的應用程序。此應用程序將按設定的時間間隔從該網站請求資訊。我知道這甚至是一個很難回答的問題,但是什麼可能是一個很好的安全間隔來保持大部分“在雷達之下”?我首先是程序員,其次是人類,其次是伺服器管理員,所以我對像 Apache 這樣的伺服器軟體可以處理動態內容的伺服器負載的了解是非常基本的。

我知道這個問題是非常開放的,答案取決於許多變數,但任何相關的經驗知識都將被分享,我們將不勝感激。

首先,第二和第三,我會看看該網站是否有 API。第四,我會查看該網站是否有使用條款政策。最後,隨機數是你的朋友。

如果它以秒為單位並且是一個高流量的站點,它應該不會有太大的影響。比您的第二個+間隔更重要的可能是確保您正確接受壓縮響應等。

雖然如果你真的想表現得有禮貌,你應該徵求他們的許可或你想要的數據的副本。

引用自:https://serverfault.com/questions/78884