Networking
我應該在千兆 LAN 上使用 rsync 壓縮嗎?
在通過 Internet 傳輸文件時,我通常使用 rsync 的 -z 選項來啟用壓縮。但是,如果我在自己的(空閒)千兆位 LAN 上,我還需要壓縮嗎?還是沒有它會更快?這取決於哪些因素?(我還沒有做任何基準測試)。
所以基本上,壓縮+傳輸+解壓縮更快,還是只傳輸未壓縮?
如果您的網路連接速度很慢,那麼壓縮顯然更好……但是如果一切都在千兆乙太網網路上執行呢?
在 rsync 傳輸期間,您是否受 CPU 限制,或者您的連結是否飽和。
- 如果您的連結已飽和,但您的 CPU 處於空閒狀態,則進行壓縮。
- 如果您的 CPU 已滿,而您的連結未滿,則不要壓縮。
我經常這樣做,在伺服器之間遷移數據以及在難以置信的長時間數據傳輸期間……
簡短的回答是使用您的特定數據進行測試……這真的很容易做到。嘗試關閉壓縮的 LAN 傳輸,然後嘗試打開壓縮…
根據我在幾個環境中的生產數據集的經驗,在 GigE 或更大的連接上,啟用 rsync 壓縮將傳輸限製到約 40 兆字節/秒(或千兆鏈路理論最大速度的 33%)。
該速率也隨傳輸文件的大小和數量而變化(例如,大量小文件降低了整體 rsync 吞吐量)。發送方和接收方的儲存子系統也很重要。
最近,我一直在使用修改後的 rsync 進行 LAN 傳輸。通過使用帶有 rsync 的**UDR 庫**(允許 UDP 傳輸),並禁用壓縮和加密,我可以獲得混合文件類型的線速 rsync 傳輸,無論文件數量如何。