Virtualbox

aws s3 同步作業的 VM ram 要求

  • August 9, 2020

我有一個虛擬機設置,可以使用最新的 awscli v.2 將 25GB 卷中拆分的 15TB 數據同步到 S3。我有 100Mbps 的上傳能力,這項工作可能需要 16 天。直到現在我還沒有這方面的經驗,我正試圖限制我可能遇到的問題。

  1. 有沒有人猜測虛擬機需要多少 RAM 才能完成這個過程?
  2. 2核VM可以嗎?
  3. 在繼續之前我可能需要檢查其他東西嗎?

謝謝

  1. 如果您使用的是 Linux,2GB 的記憶體應該完全可以工作。
  2. 是的 - 兩個核心都可以
  3. 如果可能,嘗試壓縮文件拆分,壓縮(即使在 2 個核心上)可以幫助您加快處理速度。

我已經使用 2 核 2GB 機器完成了這項工作,沒有任何問題。我在一台 12 核機器上用 gzip 壓縮了文件,又節省了 30%。

引用自:https://serverfault.com/questions/1029404