File-Transfer

使用 torrent 共享非常大的文件

  • August 13, 2009

在我們的研究所,我們很快將需要定期共享大量數據(數 TB 範圍)。

  1. 使用 BitTorrent 來完成這項任務是否有意義?
  2. 與常見的 FTP 伺服器相比,預計會有多大的 CPU/記憶體成本?
  3. 從一個 BitTorrent 對等點(原始儲存伺服器)複製到另一個對等點時,是否可以達到與直接 FTP 傳輸相匹配的速度?

非常感謝。

  1. 我會這麼認為。請注意您選擇的塊大小,因為對於如此大量的數據,它需要大於標準
  2. 在傳輸過程中並不重要,您的頻寬將成為瓶頸,而不是您的 CPU。首先生成 torrent 元文件(涉及對每個塊和整個數據集進行雜湊處理)將需要相當長的時間,在客戶端完成傳輸後的最終雜湊檢查也將花費一些時間
  3. 是的。除非您的連接提供商、客戶的提供商或介於兩者之間的某個地方選擇性地調整 P2P 流量。

為了緩解關於第 1 點和第 2 點的問題,如果您可以將數據拆分為更小的塊並為每個塊提供單獨的種子,您可能會發現數據的大小更易於處理。

另請注意,如果它們涵蓋的文件中的*任何數據被更新,您將需要重新生成 torrent 元文件。*如果數據的一小部分發生變化而其餘部分沒有變化,您可能會發現 rsync 是一種更有效的解決方案。

數據集中的文件有多大,分佈情況如何(幾個多 gig 文件?,許多較小的文件?,…)?

引用自:https://serverfault.com/questions/53764