Linux
如何在兩台伺服器之間快速複製大量文件
我需要在兩個服務(Ubuntu)之間傳輸大量 mp3。巨大的意思是大約一百萬個文件,平均為 300K。我試過了,
scp
但大約需要一個星期。(大約 500 KB/s) 如果我通過 HTTP 傳輸單個文件,我會得到 9-10 MB/s,但我不知道如何傳輸所有文件。有沒有辦法快速轉移所有這些?
我會推薦焦油。當文件樹已經相似時,rsync 表現得非常好。但是,由於 rsync 將對每個文件進行多次分析,然後複製更改,因此對於初始複製,它比 tar 慢得多。該命令可能會執行您想要的操作。它將在機器之間複製文件,並保留權限和使用者/組所有權。
tar -c /path/to/dir | ssh remote_server 'tar -xvf - -C /absolute/path/to/remotedir'
根據下面 Mackintosh 的評論,這是您將用於 rsync 的命令
rsync -avW -e ssh /path/to/dir/ remote_server:/path/to/remotedir