Linux

如何在兩台伺服器之間快速複製大量文件

  • October 9, 2019

我需要在兩個服務(Ubuntu)之間傳輸大量 mp3。巨大的意思是大約一百萬個文件,平均為 300K。我試過了,scp但大約需要一個星期。(大約 500 KB/s) 如果我通過 HTTP 傳輸單個文件,我會得到 9-10 MB/s,但我不知道如何傳輸所有文件。

有沒有辦法快速轉移所有這些?

我會推薦焦油。當文件樹已經相似時,rsync 表現得非常好。但是,由於 rsync 將對每個文件進行多次分析,然後複製更改,因此對於初始複製,它比 tar 慢得多。該命令可能會執行您想要的操作。它將在機器之間複製文件,並保留權限和使用者/組所有權。

tar -c /path/to/dir | ssh remote_server 'tar -xvf - -C /absolute/path/to/remotedir'

根據下面 Mackintosh 的評論,這是您將用於 rsync 的命令

rsync -avW -e ssh /path/to/dir/ remote_server:/path/to/remotedir

引用自:https://serverfault.com/questions/18125