Networking

動態阻止過多的 HTTP 頻寬使用?

  • January 7, 2019

我們在 6 月 4 日的Cacti網路流量圖表上看到這一點有點驚訝:

我們在 IIS 日誌上執行Log Parser,結果證明這是雅虎和Google機器人索引我們的完美風暴。在這 3 小時內,我們看到來自 3 個不同Google IP 的 28.7 萬次點擊,以及來自雅虎的 10.4 萬次點擊。哎喲?

雖然我們不想阻止Google或雅虎,但這已經出現過。我們可以使用Cisco PIX 515E,我們正在考慮將其放在前面,這樣我們就可以動態地處理頻寬違規者,而無需直接接觸我們的 Web 伺服器。

但這是最好的解決方案嗎?我想知道是否有任何軟體或硬體可以幫助我們辨識和阻止過多的頻寬使用,最好是實時的?也許我們可以將一些硬體或開源軟體放在我們的網路伺服器前面?

我們主要是一家 Windows 商店,但我們也有一些 Linux 技能;如果 PIX 515E 不夠用,我們也願意購買硬體。你會推薦什麼?

如果您的 PIX 正在執行 7.2 或更高版本的作業系統,或者可以升級到它,那麼您可以在防火牆級別實施 QOS 策略。特別是,這允許您調整流量,並且應該允許您限制機器人使用的頻寬。思科對此有很好的指導

我不確定雅虎,但您可以配置 Google 機器人索引您網站的頻率。看看Google網站管理員。我不確定雅虎是否有類似的東西。無論如何,這將使您的流量減少多達 50%。

或者,一些 Web 伺服器可以限制每個連接的流量,因此您可以嘗試這樣做。我個人會遠離硬體解決方案,因為它很可能會花費更多。

引用自:https://serverfault.com/questions/20383