Linux到windows ssh/scp/sftp差異備份解決方案?
這是設置:
大量大文件(很多超過 4gb,總共多個 TB)在一個簡單的樹形結構中,需要在不壓縮的情況下從少數 linux 機器備份到 windows 備份伺服器。每天都會生成數百個演出,目前使用 WinSCP 手動完成備份。我的目標是自動化該過程並具有良好的日誌記錄以進行監控。寫一次,很少讀。(異地將是 LTO-4 或 5)
這是一個問題,幾乎我嘗試過的每個解決方案都有一個令人矚目的問題。
WinSCP 腳本 - 不能正確處理符號連結,導致無限的文件傳輸循環。手動 GUI 工作正常,(有一些可忽略的錯誤)
rdiff-backup for win - 不能正確支持備份伺服器上已有的現有文件,並且從頭開始進行超過 20TB 的備份不是時間/資源可行的選擇。(嘗試了每個 stackexchange 列出的技巧來辨識現有數據,而無需花費 8 年時間來生成校驗和)
通過 cygwin 進行 rsync - 由於缺乏差異,空間需求將很快超過我們目前的容量。
我的下一個想法是在備份伺服器(或 FTP)上放置一個 ssh 伺服器,並通過 scp 等在 linux 端進行自動化……雖然我真的很想要校驗和和差異支持。
另一種選擇可能是從 nix 框到備份伺服器的 samba。
我非常感謝您對此事的任何意見或指導。我願意接受建議,但正在努力避免專有和閉源解決方案。我不習慣這種混合環境…
後續編輯:因此,如果您從 nix 轉到 windows,在搞砸了所有選項之後,通過 cifs 安裝 windows,然後使用您選擇的備份程序似乎是最可靠的方法。(有一些警告)話雖如此,我只是作為權宜之計,直到我可以實現基於 ZFS 的 NAS。在 NFS/CIFS/rsync 全部支持的情況下,從 windows、mac 或 linux 遷移到 NAS 不會有任何問題。
我在 Linux 和 Windows 系統上都使用Backuppc進行差異增量備份。對於 Windows,我們只是走 CIFS 路線,但可以通過 Cygwin/Gow 進行 rsync。
我嘗試了幾種方法在我的 Win7 機器上增量備份我的 Linux 機器,我得出的結論是,使用非 Linux 文件系統可靠地完成它實際上是一項不可能完成的任務。因此我最終使用了以下組合:
- VirtualBox : 一個標準的 Linux 發行版,在 Windows 主機上作為訪客安裝了最低限度的軟體包(Debian,純文字)(我建議在主機模式下添加第二個虛擬網路介面;這樣,我實際上不使用Linux終端,我只是打開來賓,並在本地使用Putty ssh到它)
- Dirvish是 rsync 上的 perl 包裝器,它使用硬連結提供透明的增量備份。
很適合我。