Linux

將許多文件傳輸到另一台伺服器的快速(非阻塞)方式

  • October 10, 2012

可能重複:

傳輸大量文件的最快和最可靠的方法是什麼?

我目前正在嘗試將超過 100 萬個文件從一台伺服器傳輸到另一台伺服器。使用 wget 似乎非常慢,可能是因為它在上一次傳輸完成後開始新的傳輸。

問題:是否有更快的非阻塞(非同步)方式進行傳輸?我在第一台伺服器上沒有足夠的空間將文件壓縮成 tar.gz 並將它們傳輸過來。謝謝!

  • 每個目錄執行 1 個 rsync 程序,直到您的網路連結飽和。編寫腳本,以便在前一個程序結束時觸發新的 rsync 程序。
  • 或者,使用包含在文件名開頭的每個唯一字元執行 1 個 rsync 程序。
  • 或者,使用包含的文件名的每個唯一的 1st + 2nd 字元組合執行 1 個 rsync 程序。

基本上是 rsync - 盡一切可能觸發足以使您的網路連結飽和。

將文件放在硬碟上並通過 FedEx、UPS、DHL 等發送。

引用自:https://serverfault.com/questions/436862