Virtualbox
aws s3 同步作業的 VM ram 要求
我有一個虛擬機設置,可以使用最新的 awscli v.2 將 25GB 卷中拆分的 15TB 數據同步到 S3。我有 100Mbps 的上傳能力,這項工作可能需要 16 天。直到現在我還沒有這方面的經驗,我正試圖限制我可能遇到的問題。
- 有沒有人猜測虛擬機需要多少 RAM 才能完成這個過程?
- 2核VM可以嗎?
- 在繼續之前我可能需要檢查其他東西嗎?
謝謝
- 如果您使用的是 Linux,2GB 的記憶體應該完全可以工作。
- 是的 - 兩個核心都可以
- 如果可能,嘗試壓縮文件拆分,壓縮(即使在 2 個核心上)可以幫助您加快處理速度。
我已經使用 2 核 2GB 機器完成了這項工作,沒有任何問題。我在一台 12 核機器上用 gzip 壓縮了文件,又節省了 30%。