Linux

大型網站需要哪些硬體和軟體注意事項才能正確管理 1000 多台伺服器?

  • November 25, 2011

抱歉問了這麼高水平的問題。我了解伺服器負載平衡的基礎知識,但管理 30,000 台伺服器的概念對我來說有點陌生。平衡 2 台或 3 台伺服器擴展 10,000 倍的概念真的是一樣的嗎?

這與 memcached、sql/mysql、搜尋引擎等有什麼關係?

它是一個具有“控制器”伺服器和從屬伺服器的層次系統,基於此傳遞數據嗎?如何處理冗餘?

感謝您提供有關此事的文章的任何資訊或方向。

編輯感謝大家的回复。我的文章已關閉,但我已經修改了標題,希望它會重新打開,因為我發現這些超高級數據解決方案所涉及的問題解決過程令人著迷,我目前正在建構一個需要一些基本負載的 api平衡,因此問題。

Google在其伺服器上使用的大多數軟體堆棧都是內部開發的。為了減輕不可避免的硬體故障的影響,軟體被設計成容錯的。

來源:Google平台

閱讀文章後,我猜想這與使用在 Linux 上內部開發的內部軟體堆棧來平衡幾台擴展到 1000 多台伺服器的伺服器之間的負載是相同的概念。例如GFS(Google 文件系統)、BigTable - 基於 GFS 建構的結構化儲存系統

連結描述了它們如何平衡網路負載。

他們使用負載平衡開關來分配負載。對網站的所有請求都到達一台機器,然後將請求傳遞給一個可用的伺服器。交換機可以從伺服器中找出負載最少的伺服器,因此它們都在做相同的工作。

Google 的網路拓撲如下:

當客戶端電腦嘗試連接到 Google 時,多個 DNS 伺服器會通過循環策略將 www.google.com 解析為多個 IP 地址。此外,這充當第一級負載平衡並將客戶端引導到不同的 Google 集群。一個 Google 集群有數千台伺服器,一旦客戶端連接到伺服器,就會進行額外的負載平衡,以將查詢發送到負載最少的 Web 伺服器。

引用自:https://serverfault.com/questions/334581