Linux

BackupPC 需要超過 72 小時才能備份 250GB

  • July 24, 2014

BackupPC用來備份辦公室的一些工作站。與其他工作站相比,特別是一個工作站具有大量數據,但是,一般來說並沒有那麼大(大約 250 GB 的實際數據)。

BackupPC似乎需要永遠支持這個系統(幾天,即超過 72 小時+)。rsync所有工作站都通過網路上的autofs本地安裝進行備份。

基本上,autofs將 安裝administrative C share在工作站上,然後BackupPC將其視為本地目錄,將cd’ 放入automount directory,然後將rsync所有數據。

總的來說它很慢,我通常將其歸因於BackupPC機器是慢速硬體,但這種性能在所有工作站上或多或少都可以接受,除了這個具有大量數據的工作站。

rsync flags:

/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive

這些是BackupPC設置的預設參數。

我在網上閱讀了一些atime關於掛載的內容可能會減慢速度 - 所以我更改了我的autofs配置以掛載帶有noatime標誌的目錄……沒有區別。

我讀了一些東西,這些東西表明它rsync可能是罪魁禍首,因為它是如何檢查文件的……並建議改用它tar。所以我做了……但沒有區別。

tar flags:

tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals

# where $shareName is the autofs mounted directory

這些是設置 BackupPC 的預設參數。

不用找了。

用監控BackupPC盒子的網路活動iftop,它似乎會在一段時間內使用高峰(有時高達 90Mbps),但隨後會回落到 Kbps 甚至有時是 Bps 範圍。當它處於慢速模式時,會使用作為備份作業top的命令顯示活動BackupPC_dump……所以它正在做一些事情並且沒有卡住。

目前備份已執行超過 24 小時,但根據iftop.

直接在伺服器上執行 rsync 可能會更快。您有大約一百萬個文件可以通過網路訪問。rsync您可以執行幾個最小的安裝。我以這種方式在 Windows 上設置了 BackupPC 。您可以執行完整的 Cygwin 安裝,或 BackupPC 項目中可用的最小cygwin-rsycnd安裝。

您應該檢查 backuppc 配置兩側的所有內容。首先,檢查伺服器並嘗試提高它的性能,但如果你有其他性能更好的機器,讓我們跳過這個。

接下來檢查網路!由台式機檢測的網路速度、包裝尺寸、電纜質量。做一些基準測試,做一個大文件的 rsync (rsync-rsyncd) 測試。從其他桌面和其他桌面進行測試。你應該看看那裡是否有問題。

最後是桌面。機器上的 CIFS 可能不是最佳狀態,正如我上面所說,來自網路文件系統的 rsync 將一次又一次地通過網路下載每個文件,因為 rsync 文件系統是本地的,並將檢查文件的 md5。 ..但文件需要通過網路獲取,只需進行檢查即可。因此,正如 BillThor 所指出的,桌面上的一個 rsyncd 會更有效率。此外,校驗和記憶體將幫助 backuppc 伺服器不檢查文件,從而減少其負載。對桌面進行碎片整理並刪除(或排除)任何不需要的文件(Windows 到處都有許多無用的文件)。

最後,文件的數量…許多文件使通過網路進行的任何備份都需要很長時間,因此請繼續使用…而不是一個大備份,將其分成較小的部分。某些文件比其他文件更改更多,因此按更改機率對目錄進行分組。不是每 x 天一個大備份,而是有 3 個備份,一個在 X 天,另一個在 2 x 天,以及更新較少的文件,比如 3 x 天。這樣,您就不必一直解析每個文件。如果您有“存檔”文件,請考慮壓縮。即使不可壓縮(然後使用 zip 儲存),它也會在 1 內變成 10.000 ……在備份期間大保存。

如果你不能這樣做,你可以考慮改變備份方法。在一台包含許多文件的大型機器上,我使用驅動器快照來製作高畫質圖像,然後進行定期增量快照。可能看起來有點矯枉過正,但該程序在塊級別上快速執行增量並且將繞過許多文件問題。對我來說,它將 48 小時的文件系統備份減少到 3 小時的備份塊級別。不如 backuppc 靈活,但它可以工作。只是不要忘記,在進行碎片整理時,必須再次進行完整備份,否則增量將與完整備份一樣大。:)

查看這篇部落格文章,了解如何從 Windows 備份(附帶捲影副本獎勵)。閱讀所有評論,因為我在那裡添加了許多重要資訊和更新。

引用自:https://serverfault.com/questions/614906