Backup

ZFS 通過不可靠的慢速 WAN 同步。ZFS 複製,還是 rsync?

  • December 25, 2014

我的任務是通過 WAN 進行異地備份工作。兩個儲存盒都是執行 ZFS 的基於 FreeBSD 的 NAS 盒。

每週一到兩次,15-60 演出的攝影數據被轉儲到辦公室 NAS。我的工作是弄清楚如何使用非常慢的 DSL 連接(~700Kb/s 上傳)盡可能可靠地在場外獲取這些數據。接收盒的形狀要好得多,下降 30Mb/s,上升 5Mb/s。

我知道,在異地攜帶硬碟驅動器會更快地移動數據,但在這種情況下它不是一個選擇。

我的選擇似乎是:

  • ZFS 通過 ssh 增量發送
  • 同步

rsync 是一個久負盛名的解決方案,並且具有在發生中斷時恢復發送的最重要的能力。它的缺點是迭代許多文件並且不知道重複數據刪除。

ZFS 快照發送可能會傳輸更少的數據(它對文件系統了解更多,可以進行重複數據刪除,可以比 rsync 更有效地打包元數據更改)並且具有正確複製文件系統狀態的優勢,而不是簡單地複制單獨的文件(這是更多的磁碟密集型)。

我擔心 ZFS 複製性能

$$ 1 $$(儘管那篇文章已經有一年了)。如果出現問題,我還擔心能夠重新開始傳輸 - 快照功能似乎不包括這一點。整個系統需要完全不干涉。 $$ 1 $$ http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html 使用任一選項,我應該能夠通過通過指定埠路由流量來降低流量的優先級,然後使用路由器上的 QOS。我需要避免在每次轉移期間對兩個站點的使用者產生重大負面影響,因為這需要幾天時間。

所以……這就是我對這個問題的看法。我錯過了任何好的選擇嗎?有沒有其他人設置過類似的東西?

  1. 如果您每天最多可以傳輸 6GB(假設零成本和零競爭流量),並且您需要以“每週一次或兩次”的頻率移動“15-60 gigs”,那麼可以達到 15-120每週 GB,或每天 2-17 GB。因為有必要為峰值需求做計劃,而 17 GB 甚至遠遠超過了您的理論最大值 6 GB,您很可能遇到了非常嚴重的頻寬問題。升級連接需要什麼?如果無法升級連接,請考慮按計劃(例如每週)郵寄物理媒體的選項。
  2. 假設您可以讓頻寬數學更有意義,rsync可能是最佳選擇。在複製高度冗餘的數據(例如虛擬機圖像)時,重複數據刪除意識將非常有價值,但在涉及獨特的數字內容(音頻、影片、照片)時,它應該沒有什麼好處……當然,除非使用者是無意中儲存了相同文件的重複副本。

引用自:https://serverfault.com/questions/189420