Google-Cloud-Platform

從 URL 下載到 GCP 儲存桶

  • April 8, 2022

給定一個指向大文件的 URL,是否有將該文件放入儲存桶的快捷方式,而無需在本地下載然後上傳?

除了建構一個執行任務並以某種方式在 GCP 中執行它的 docker 映像之外,還有更簡單的方法嗎?

鍊接中所述

1: 您可以使用 curl 命令將數據直接流式傳輸到儲存桶中。

curl http://speedtest.tele2.net/10GB.zip | gsutil cp -gs://YOUR_BUCKET_NAME/10GB.zip

2: 小於 4.6 GB 的文件。

原始方法:只要您的下載小於 ~ 4.6 GB,此方法就有效。啟動 Cloud Shell(在 GCP 中登錄項目後右上角的第一個圖示)並使用 wget 下載所需的文件。例如,要下載 7-Zip,請輸入:wget https://www.7-zip.org/a/7z1805-x64.exe現在使用 Cloud Shell 使用者首頁中的文件,您可以將其複製到 Google Cloud Storage 儲存桶使用 gsutil 命令:

gsutil cp ./7z1805-x64.exe gs://your_bucket_name/

3: 大於 4.6 GB 的文件。

在您的 Cloud Shell 使用者主目錄中創建一個目錄mkdir ~/mybucket

現在使用 gcsfuse 將儲存桶掛載到該目錄中:

gcsfuse bucket_name ~/mybucket

將目前目錄更改為掛載點目錄:(cd mybucket如果您想執行“df -h.”以查看您在該掛載點獲得了多少空間)現在使用 wget 將文件直接放入您的儲存桶(範例使用 10GB 文件關閉網路):

wget https://speed.hetzner.de/10GB.bin

有關更多資訊,您可以參考儲存傳輸服務和創建URL 列表的文件

引用自:https://serverfault.com/questions/1098139