Rsync

如何使用 rsync 和 inotify“正確”同步數百萬個文件?

  • December 17, 2016

假設我有 100 萬個文件,文件列表大概是 20MB。如果我只添加一個文件,inotify將告訴rsync傳輸文件列表和新文件。我的網路不好,我可能不得不限制頻寬(--bwlimit)。

可能會同時添加多個文件,並且考慮到網路傳輸速度,可能會同時執行多個 rsync。

這值得麼?有沒有更好的辦法?

您的案例聽起來正是lsyncd的用途。

它使用 inotify 監視目錄並生成僅包含已更改文件的 rsync。

它聚合幾秒鐘的變化。

因此,當您在一秒鐘內進行 5 次更改時,它只會產生一個新的同步過程到目標伺服器。

引用自:https://serverfault.com/questions/688656