Amazon-Web-Services
將數據從 Glacier 保險庫移動到 Glacier Deep Archive
我有一些 Glacier 數據保險庫,其中包含數據。
我想將這些數據移動到新的儲存類——“Glacier Deep Archive”。
怎麼做?我在保管庫首選項的控制台中看不到這樣的選項。
Glacier 出來的時候我看了這個,我在 AWS 部落格上發表了一條從未回復過的評論。
最好我能說沒有從 Glacier 到 Glacier Cold Archive 的遷移路徑。您將不得不手動遷移數據。
我有兩種建議的方法:
本地上傳
如果您在本地擁有數據並且確信其完整性,只需使用 AWS 命令行或您希望上傳的任何工具。您可能需要調整配置文件中的 S3 參數以加快速度,這可以通過使用更多執行緒來增加您的 Internet 頻寬使用率。如果您有很多小文件,這尤其有用,而大文件可能會最大限度地利用您的頻寬。
下載然後上傳
第二種方法是
- 從 Glacier 恢復數據
- 將數據下載到電腦,本地或理想情況下是 EC2 按需實例(如果您的實例終止,您可能會失去數據)
- 使用 IA 層將數據上傳到 S3
創建使用者
這是我用於從 Windows 上傳的 S3 命令。請注意,您需要個人資料“冰川作家”
您將創建一個有權訪問該儲存桶以及您需要的任何其他資源的 IAM 使用者。讓他們的訪問/秘密密鑰可用。如果您需要通過角色執行此操作,則需要更多工作但並不困難,線上文件
aws configure --glacier-writer
然後,您可以編輯配置文件以包含此文件或類似文件。這適用於我的家庭網際網路連接,因為我有 20Mbps 的上傳速度。如果您有高頻寬和快速機器,您可以增加並發請求。我已經成功地在高頻寬公司連接上使用了多達 80 個執行緒,這需要 1-2 個至強核心。
[profile glacier-writer] region = us-west-2 output = json s3 = max_concurrent_requests = 10 max_queue_size = 100 multipart_chunksize = 75MB multipart_threshold = 200MB
在 Windows 上,這是在
c:\users\username\.aws\configure
在 Linux 上它在
~\home\.aws\configure
上傳
我所做的是一個簡單的 S3 同步,但您也可以使用“s3 cp”簡單地上傳到 S3。
aws s3 sync C:\Source\Folder\ s3://bucket-name/ --profile glacier-writer --storage-class DEEP_ARCHIVE --exclude *.tmp