創建具有一個介面和保留的可擴展備份集群
目前我正在執行許多備份伺服器來備份其他伺服器,例如 b01、b02、..、bn,它們都有自己的 IP,執行自己的 FTP / SSH 服務。但是,我想只創建一個介面來儲存和檢索備份,通過始終連接到同一台主機而將實際數據儲存在多個後端伺服器上,從而使我自己和客戶更容易,同時也提高了伺服器的可擴展性。系統。
我目前正在使用帶有快照(和壓縮/去重)的 ZFS 來儲存備份,每個備份的伺服器在 ZFS 備份伺服器上都有自己的捲(20-500G),每天都會對它進行快照以保留。
是否存在從另一個(備份)伺服器到“連接伺服器”的傳入 FTP/SSH 連接上掛載/模擬目錄的程序或技術?它應該是可擴展的,如果可能是冗餘的,我一直找不到任何東西。
我也對其他解決方案持開放態度並完全改變目前的備份設置,但它有一些要求:
- 用於保留的快照備份,僅儲存差異
- FTP / SSH (rsync) 訪問
- 如果可能,應用一些壓縮和/或重複數據刪除以節省磁碟空間
- 可擴展到數百 TB
- 表現良好
- 多餘的
我一直在探索使用像 Openstack Swift 這樣的對象儲存的可能性,但是快照是不可能的。
因此我的問題是,如何實現我的目標,即用一個介面創建某種備份集群,以替換現有的獨立伺服器設置。
不確定這是否正是您所尋求的,但基本上聽起來您正在尋找分佈式文件系統。
有幾種這樣的產品(從 drbd、through、ceph、lustre 和 gluster 開始。我相信還有更多)。由於 ZFS 現有的基礎架構,我建議使用luster(另請參閱zol)或任何允許在其上添加另一個 fs 的分佈式 fs。
Lustre 有一個缺點,它主要是為 hpc 暫存數據設計的——這意味著高性能、低可靠性的儲存,因此沒有作為備份解決方案進行優化。
Ceph 可能是滿足您需求的更好解決方案,但仍然缺乏對 zfs 的支持
就是說-我建議研究對此類設置具有社區支持的 gluster ,儘管它們的路線是 gluster 在 zfs 之上(這意味著快照位於單個池級別,而不是文件系統命名空間級別)。
對於任何關鍵任務,我仍然建議不要使用 drbd,但是如果您的數據被進一步備份(例如到磁帶),那麼 zfs 上方/下方的 drbd 也可能是一個可行的解決方案。
zfs 之上的 drbd 可能足夠安全,但您仍然會失去全域名稱空間範圍的快照。