Linux
將許多文件傳輸到另一台伺服器的快速(非阻塞)方式
可能重複:
我目前正在嘗試將超過 100 萬個文件從一台伺服器傳輸到另一台伺服器。使用 wget 似乎非常慢,可能是因為它在上一次傳輸完成後開始新的傳輸。
問題:是否有更快的非阻塞(非同步)方式進行傳輸?我在第一台伺服器上沒有足夠的空間將文件壓縮成 tar.gz 並將它們傳輸過來。謝謝!
- 每個目錄執行 1 個 rsync 程序,直到您的網路連結飽和。編寫腳本,以便在前一個程序結束時觸發新的 rsync 程序。
- 或者,使用包含在文件名開頭的每個唯一字元執行 1 個 rsync 程序。
- 或者,使用包含的文件名的每個唯一的 1st + 2nd 字元組合執行 1 個 rsync 程序。
基本上是 rsync - 盡一切可能觸發足以使您的網路連結飽和。
將文件放在硬碟上並通過 FedEx、UPS、DHL 等發送。