Rsync

提高 RSYNC 掃描速度/替代方法?

  • February 21, 2013

我正在使用 rsync 將應用程序日誌文件從一台伺服器傳輸到另一台伺服器。它工作正常,但掃描目錄需要永遠。我有大約 160,000 個日誌文件和幾千個目錄,所以我可以理解為什麼掃描需要這麼長時間。但是,在任何給定的同步中,只有少數文件會更改,所以我想知道是否有更有效的方法或 rsync 選項可以加快速度?日誌文件本身很小(每個只有幾 kb)。

謝謝!

手冊頁

從 rsync 3.0.0 開始,使用的遞歸算法現在是增量掃描,它使用的記憶體比以前少得多,並在前幾個目錄的掃描完成後開始傳輸。這種增量掃描只影響我們的遞歸算法,不會改變非遞歸傳輸。也只有在傳輸的兩端至少是 3.0.0 版本時才有可能。

有些選項要求 rsync 知道完整的文件列表,所以這些選項禁用增量遞歸模式。其中包括: --delete-before--delete-after--prune-empty-dirs--delay-updates。因此,指定 –delete 時的預設刪除模式現在 --delete-during是連接的兩端至少為 3.0.0(使用 --del--delete-during明確請求此改進的刪除模式)。另請參閱--delete-delay比使用--delete-after.

如果您使用任何提到的選項或舊版本的 rsync,您可能會禁用改進的增量遞歸模式。否則,唯一的其他選擇是讓 rsync 考慮更少的文件。

引用自:https://serverfault.com/questions/481295