Centos

如何提高增量備份性能?

  • April 16, 2020

我目前正在使用傳統的 rsync+cp -al 方法來創建我們的伺服器樹的增量/快照備份。備份通過四個 eSATA 連接(每個連接四個磁碟)進入一對八磁碟塔,連接到備份機器(具有 16 GB RAM,執行 CentOS 5.5 的 Sandy Bridge 機器)。每個磁碟是一個正常的 2 TB 磁碟,因此我們有 32 TB 的磁碟空間連接到備份機器。我們正在使用它在伺服器上備份大約 20 TB 的數據。

問題是每天的備份都需要超過 24 小時,真正的時間殺手不是實際的 rsync,而是在備份機器上本地執行樹的 cp -al 所需的時間。僅製作樹的影子副本就需要 12 多個小時,據我所知,性能積壓在磁碟上(頂部顯示 cp 使用大量 RAM 但不是很多 CPU,而且大多數情況下是不間斷的-睡眠狀態)

我們將伺服器數據分成四個主要卷(和一些次要卷),並且這些備份中的每一個都並行執行(在 cron 中有一些偏移量,以嘗試首先完成一些磁碟的 cp)。備份驅動器上有兩個卷,都是條帶化 LVM 卷,每個卷 16 TB。

所以很明顯我需要提高性能,因為它現在無法使用。

第一個問題是:當 CentOS 6 出來,支持 btrfs 時,用 btrfs 製作子卷的快照會大大提高這個性能嗎?

第二個是:有沒有辦法,在 CentOS 5 或 6 中支持 ext3 或其他東西,“鼓勵”它將目錄/inode 放在卷的一部分(可能恰好是 SSD 上的部分) ,通過LVM)和另一個文件?這大概可以解決問題,但我不知道如何提示 ext3。

您可以嘗試使用--link-destand 相關選項,而不是rsync使用cp -al. 有關詳細資訊,請參閱此手冊頁和教程

您可以通過關閉 ext3 的日誌來獲得一點額外的速度,但我不建議這樣做,因為如果在更新期間出現問題,它會增加損壞備份的機會。

如果您的備份包括包含許多文件的目錄,那麼您可能會發現重新格式化為 ext4 或將 dir_index 選項與 ext3 一起使用可能會有所改善 - 但在這兩種情況下,您可能需要重新格式化才能看到僅使用新選項重新掛載文件系統的全部好處不會轉換任何現有結構。

引用自:https://serverfault.com/questions/234046