Backup

如何備份儲存伺服器?

  • October 29, 2010

我正在考慮實現一個非常大的儲存伺服器,用作其他幾台伺服器(全部基於 Linux)的實時 NAS。

非常大,我的意思是 4TB 和 20TB 之間的可用空間(儘管我們不太可能真正做到 20TB)。

儲存伺服器將是 RAID 10 以確保數據安全性和性能,但我們仍然需要包括異地備份在內的備份解決方案。

我的問題是:你如何備份這麼多數據!?

這不像我可以連接一個攜帶式硬碟驅動器並傳輸文件。我們目前沒有其他設備具有這麼大的儲存空間。

我是否需要為第二台異地儲存伺服器進行預算,還是有更好的解決方案?

有很多方法可以處理這種大小的數據。這在很大程度上取決於您的環境以及您願意花多少錢。一般來說,有一些整體的“從伺服器獲取數據”策略:

  • 通過乙太網就像包裝盒上說的那樣,數據被流式傳輸到其他地方進行處理。20TB 複製 1GbE 需要很長時間,但可以做到。硬體可以提供幫助(例如 10GbE 連結,或者在某些情況下 NIC 綁定)。
  • 通過儲存子系統如果您使用的是光纖通道,請將其發送到 FC 網路上的另一台設備。如果您有 SAS,請將其發送到連接 SAS 的設備。通常比乙太網快。
  • 將其發送到另一個磁碟陣列將其發送到連接到同一伺服器的另一個儲存塊。

那是100Km的視圖。一旦你開始放大,事情就會變得更加分散。如前所述,LTO5 是一種專為此類高密度負載而設計的特定磁帶技術。另一個相同的儲存陣列是一個很好的目標,特別是如果您可以使用 GlusterFS 或 DRBD 之類的東西來獲取那裡的數據。此外,如果您需要備用輪換,或者只是在陣列出現故障時保持執行的能力將影響您放置的內容。

一旦您確定了 100 公里視圖方法,進入軟體將是下一個重大任務。影響這一點的因素首先是您可以在儲存伺服器上安裝什麼(如果它是 NetApp,那是一回事,帶有一堆儲存的 Linux 伺服器完全是另一回事,就像帶有一堆儲存的 Windows 伺服器一樣) ,您選擇什麼硬體(例如,並非所有 FOSS 備份包都能很好地處理磁帶庫),以及您需要什麼樣的備份保留。

你真的需要弄清楚你想要什麼樣的災難恢復。簡單的實時複製更容易,但不允許您僅從上週恢復到現在。如果從上週恢復的能力對您來說很重要,那麼您需要針對這類事情進行設計。根據法律(在美國和其他地方),一些數據需要保存 7 年以上。

簡單的複制是最容易做到的。這就是 DRBD 的設計目的。初始副本完成後,它只會發送更改。這裡的複雜因素是網路位置,如果您的第二個陣列不靠近主 DRBD 可能不可行。您需要第二台儲存伺服器,其儲存空間至少與第一台一樣多。


關於磁帶備份…

LTO5 可以保存 1.5TB 的數據,無需壓縮。養活這些怪物需要非常快速的網路,即光纖通道或 6Gb SAS。由於您需要一次備份超過 1.5TB 的數據,因此您需要研究自動載入器(這裡有一個範例:link,HP 的 24 插槽 1 驅動器自動載入器)。借助支持它們的軟體,它們將在備份過程中為您處理更換磁帶。他們真棒。您仍然需要將磁帶拉出以發送到異地,但這比在備份需要時整夜閒逛自己載入磁帶要好得多。

如果磁帶為您提供了“ legacy, ew ”heebiegeebies,那麼虛擬磁帶庫可能更適合您(例如來自 Quantum 的這個:link)。這些假裝是備份軟體的磁帶庫,同時使用強大的(您希望的)重複數據刪除技術將內容實際儲存到磁碟。如果您喜歡這種東西,更高級的甚至會為您將虛擬磁帶複製到真實磁帶,這對於異地旋轉非常方便。


如果您甚至不想處理虛擬磁帶,但仍想進行直接到磁碟的備份,那麼您將需要一個足夠大的儲存陣列來處理 20TB,以及您想要的任何淨變化數據保持住。不同的備份包以不同的方式處理這個問題。一些重複數據刪除技術非常好,而另一些則是老生常談。我個人不知道這方面 FOSS 備份軟體包的狀況(我聽說過 Bacula),但它們可能已經足夠了。很多商業備份包都有你在伺服器上安裝的本地代理進行備份,以增加吞吐量,這有很多優點。

引用自:https://serverfault.com/questions/195946