Linux

高效複製儲存

  • July 17, 2020

我想在 WAN 上複製 10Tb 的數據(大量小文件,低水平的流失),而對可用基礎架構的影響最小。

雖然我可以簡單地使用 rsync,但這意味著查找更改並比較本地和遠端數據(磁碟 I/O、網路頻寬和 CPU 成本)雖然 rsync 可以有效地做到這一點,但我想知道是否有更有效的解決方案可以跟踪更改並傳播它們(最好是雙向的)。

儲存本身是 HP NAS 設備上的 iSCSI。我們之前曾研究過使用其內置的複制功能,但發現它們速度慢且不可靠。

DRBD 鏡像在兩端都需要額外的硬體。這將是相當昂貴的。過去,我也被 DRBD 複製失敗所困擾。

glusterfs 會更有效嗎?使用 2 節點設置真的很愚蠢嗎?有更好的解決方案嗎?

您可以使用lsyncd在系統之間不斷同步文件。lsyncd在同步的目錄上安裝 inotify 監視。每當目錄中的文件發生更改時,它都會使用rsync.

在塊級別上,可以使用在兩端製作鏡像磁碟的 Starwind 來完成同步。它可以在 iSCSI LUN 上執行,實現主動-主動儲存。不需要額外的硬體。https://www.starwindsoftware.com/blog/storage-ha-on-the-cheap-fixing-synology-diskstation-flaky-performance-with-starwind-free-part-3-failover-duration

在文件層面,lsyncd 和 rsync 做一個鏡像同步伺服器之間的文件。這些工具可能需要調整配置文件,以確保文件鎖定機制按預期工作並且不會發生腦裂。https://linoxide.com/tools/setup-lsyncd-sync-directories/

引用自:https://serverfault.com/questions/1024168