Linux

考慮到性能和速度,使用 rsync 將大文件備份到外部驅動器 (NTFS)

  • March 3, 2018

目前,文件從一個外部硬碟驅動器備份到另一個驅動器,以在主外部硬碟驅動器變得不可用(例如硬體故障)時提供從輔助設備恢復的能力。目前方法基於使用 Microsoft Windows。

所有備份都將在以後執行 Ubuntu 14.04 的 Linux 設備上執行。

所有外部硬碟驅動器都使用 TrueCrypt 加密,並使用 NTFS 格式化,因為它們也用於 Linux 以外的其他作業系統,例如 Microsoft Windows。

文件也在 Microsoft Windows 上創建並儲存在這些設備上。

文件大小從小至 100KB 到大至 10GB 不等。大約有 100 萬個文件,而且這個數字還在持續增長。

要求

  • 在外部硬碟驅動器上的性能。目前所有驅動器均為 USB 2
  • 傳輸速度
  • 計算門檻值或註意事項。目前執行備份的設備是 i3、i5、i7,至少 8GB 記憶體
  • 保留權限等
  • 深路徑。一些路徑遍歷多達 20 或 30 個層次結構
  • 對外部硬碟驅動器壽命的影響最小
  • 盡可能避免更改文件系統
  • 整個副本都可以,不需要增量或差異
  • 校驗和以確保文件已成功送出
  • 日誌
  • 在發生故障時恢復傳輸的能力

現在已經提到使用開關或選項,inplace但是關於利用 NTFS 文件系統的加密驅動器的其他注意事項的可用資訊很少。

編輯

例如,目前嘗試的命令是;

rsync -vrlptg /media/drive1 /media/drive2

必須包括哪些其他開關/選項才能支持這些要求?

考慮到您使用的是慢速 USB 2.0 協議,傳輸盡可能少的數據至關重要。

Rsync 是你最好的朋友。然而,NTFS 並沒有讓你受寵若驚。使用 EXT4 之類的東西可以讓您離開硬連結以僅儲存更改的文件。查看rsnapshot以獲取更多資訊

如果你不能改變你的文件系統,你也可以看看attic-backup,這樣你就可以在不使用硬連結的情況下進行重複數據刪除備份。

rsync 可以滿足大多數(如果不是全部)要求:

下面介紹如何將 rsync 與 NTFS 一起使用:

rsync -rvhc --size-only --progress /path/to/ntfs1/ /path/to/ntfs2/

rsync -rvhc --size-only --progress /path/to/ext4/ /path/to/ntfs/

有用的提示:如果你省略-c (checksum);並且只使用rsync標誌-rvh;您會發現性能和速度顯著提高。

標誌 v(詳細)和 h(人類可讀)是可選的。更多資訊在這裡

引用自:https://serverfault.com/questions/747289