Linux

遠端文件複製實用程序(如 rsync)但會考慮已複製的數據(在此會話中)?

  • June 14, 2010

假設我有一個包含 2 個文件的目錄,它們都是相同的並且非常大(例如 2GB ea。)我想將該目錄同步到遠端主機。據我了解(我可能是錯的),rsync 計算文件的校驗和。當然,如果它看到 2 個具有相同校驗和的文件,它可以只複製第一個文件,然後在遠端主機上為第二個文件進行本地複制?那會讓它更快,不是嗎?

同樣,在複製之前,rsync 不會對所有遠端文件進行雜湊處理嗎?如果它看到與要傳輸的文件具有相同雜湊值的不同文件,它可以在遠端主機上進行本地複制。

rsync 支持這種東西嗎?有什麼辦法可以開啟嗎?是否有類似於 rsync 的工具可以執行這種“基於雜湊”的本地副本?

同樣,在複製之前,rsync 不會對所有遠端文件進行雜湊處理嗎?如果它看到與要傳輸的文件具有相同雜湊值的不同文件,它可以在遠端主機上進行本地複制。

不,但Unison有。

我不相信今天有任何產品可以作為單個軟體包來做到這一點。有 WAN 優化器會為您執行此操作,然後您仍然執行 RSYNC。

您正在尋找的是重複數據刪除/重複數據刪除過程。理想情況下,您實際上不想進行重複數據刪除,而是在本地進行重複數據刪除,然後執行 RSYNC。這樣你就只是複制連結而不是擴展另一邊的文件。

引用自:https://serverfault.com/questions/105070