Datacenter

為什麼數據中心水冷不普及?

  • June 2, 2017

根據我對數據中心的閱讀和聽說,使用水冷的伺服器機房並不多,而且最大的數據中心也沒有使用水冷(如果我錯了,請糾正我)。此外,使用水冷購買普通PC組件相對容易,而水冷機架伺服器幾乎不存在。

另一方面,使用水可能(IMO):

  1. 降低大型數據中心的功耗,尤其是在可以創建直接冷卻設施(即設施位於河流或大海附近)的情況下。
  2. 減少噪音,減輕人們在數據中心工作的痛苦。
  3. 減少伺服器所需的空間:
  • 在伺服器級別,我想在機架和刀片伺服器中,通過水冷管比浪費空間讓空氣通過更容易,
  • 在數據中心層面,如果仍然需要保留伺服器之間的通道以便維護訪問伺服器,則可以移除地板下和天花板層用於通風的空間。

那麼,為什麼水冷系統在數據中心級別和機架/刀片伺服器級別都沒有普及呢?

是不是因為:

  • 伺服器級別的水冷幾乎沒有多餘的?
  • 與普通數據中心相比,水冷設施的直接成本是否太高?
  • 維護這樣的系統很難(定期清潔使用河水的水冷系統當然比真空清潔風扇要復雜和昂貴得多)?

水+電=災難

與空氣冷卻相比,水冷允許更大的功率密度;所以要弄清楚額外密度的成本節省(除非你的空間非常有限,否則可能沒有)。然後計算水災風險的成本(比如 1% * 您設施的成本)。然後做一個簡單的風險回報比較,看看它是否對你的環境有意義。

所以我將在幾個部分打破我的答案:

  • 水與空氣和礦物油的物理特性
  • 用水風險及歷史不良經歷
  • 冷卻數據中心的總成本
  • 經典液體冷卻系統的弱點

與其他水的物理特性相比

首先是幾個簡單的規則:

  • 液體比氣體可以傳遞更多的熱量
  • 蒸發液體提取更多熱量(用於冰箱)
  • 在所有液體中,水的冷卻性能最好。
  • 流動的流體比非流動的流體更好地吸收熱量
  • 湍流需要更多的能量來移動,但比層流更好地提取熱量。

如果您比較水和礦物油與空氣(相同體積)

  • 礦物油比空氣好大約 1500 倍
  • 水比空氣好 3500 倍
  • 油在任何情況下都是不良的導電體,用於冷卻大功率變壓器。
  • 取決於其確切類型的油是一種溶劑並且能夠溶解塑膠
  • 如果水不純淨(含有礦物質……),水是良好的電導體,否則不是
  • 水是一種很好的電解質。因此,與水接觸的金屬在某些條件下可以溶解。

現在對我上面所說的進行一些評論:比較是在大氣壓下進行的。在這種情況下,水的沸點為 100°C,高於處理器的最高溫度。所以當用水冷卻時,水保持液態。使用礦物油或氟利昂(冰箱中使用的)等有機化合物進行冷卻是某些應用(發電廠、軍用車輛……)的經典冷卻方法,但從未長期使用與塑膠直接接觸的油在 IT 領域。所以它對伺服器元件可靠性的影響是未知的(Green Evolution 隻字不提是)。讓你流動起來很重要。依靠靜止液體內部的自然運動來去除熱量是低效的,並且很難在沒有管道的情況下正確引導液體。由於這些原因,

技術問題

使空氣流動很容易,洩漏不會對安全構成威脅(對效率很好)。它需要大量空間並消耗能源(您的桌面消耗的 15% 用於您的粉絲)

進行液體移動很麻煩。您需要將管道、冷卻塊(冷板)連接到您要冷卻的每個組件、一個水箱、一個泵,也許還有一個過濾器。此外,維修這樣的系統很困難,因為您需要去除液體。但它需要更少的空間和更少的能量。

另一個重要的一點是,關於如何設計基於帶有冷卻風扇的基於空氣的系統的主機板、台式機和伺服器,已經進行了大量的研究和標準化。並且由此產生的設計不適用於基於液體的系統。更多資訊請訪問formfactors.org

風險

  • 如果您的設計做得不好,水冷系統可能會洩漏。熱管是沒有洩漏的液體系統的一個很好的例子(查看這裡了解更多資訊
  • 常見的水冷系統僅冷卻熱元件,因此仍然需要其他元件的氣流。因此,您有 2 個冷卻系統而不是 1 個,並且會降低空氣冷卻系統的性能。
  • 在標准設計中,如果漏水與金屬元件接觸,則存在造成大量損壞的巨大風險。

評論

  • 純淨水是電的不良導體
  • 電子元件的幾乎每個部分都塗有非導電塗層。只有焊盤不是。所以幾滴水是無害的
  • 現有的技術解決方案可以減輕水風險

冷卻空氣會降低其容納水的能力(濕度),因此存在冷凝風險(對電子設備不利)。所以當你冷卻空氣時,你需要去除水分。這需要能量。一個人的正常濕度水平約為濕度的 70%。因此,您可能需要在冷卻後為人們放回空氣中的水分。

數據中心的總成本

當您考慮在數據中心中進行冷卻時,您必須考慮到它的每個部分:

  • 調節空氣(過濾,去除多餘的濕氣,移動它……)
  • 冷熱空氣不應混合,否則會降低效率並存在熱點風險(冷卻不足的點)
  • 您需要一個系統來提取多餘的熱量,或者您必須限制熱量產生密度(每個機架的伺服器更少)
  • 您可能已經有管道將房間的熱量排出(將其輸送到屋頂)

數據中心的成本取決於其密度(每平方米的伺服器數量)和功耗。(還考慮了一些其他因素,但不在此討論中)總數據中心表面分為伺服器本身使用的表面、冷卻系統、公用設施(電力……)和維修室。如果每個機架有更多伺服器,則需要更多冷卻,因此需要更多冷卻空間。這限制了數據中心的實際密度。

習慣

數據中心是高度複雜的東西,需要很高的可靠性。數據中心停機原因的統計表明,80% 的停機時間是由人為錯誤造成的。

為了達到最佳的可靠性水平,您需要大量的程序和安全措施。因此,從歷史上看,在數據中心中,所有程序都是為空氣冷卻系統制定的,如果數據中心沒有禁止水,則僅限於最安全的使用。基本上,水是不可能接觸到伺服器的。

到目前為止,還沒有一家公司能夠提供足夠好的水冷解決方案來改變這一事實。

概括

  • 從技術上講,水更好
  • 伺服器設計和數據中心設計不適應水冷
  • 目前的維護和安全程序禁止在伺服器內部使用水冷
  • 沒有商業產品足以在數據中心中使用

引用自:https://serverfault.com/questions/263931