Google-Cloud-Platform

將大文件儲存在 Google Cloud Storage 中,無需本地副本

  • October 3, 2016

我想通過 gcsfuse 將大型二進製文件(mongodump bson 文件)儲存在安裝在 Google Compute 實例上的 Google Cloud Storage 儲存桶中。一切都執行良好,除了每次我寫文件時保險絲都會將每個文件複製到一個臨時文件夾中。我的案例是在 GCS 上儲存高達 4TB 的文件以降低我們的儲存成本,但如果我必須為臨時文件保留足夠大的磁碟,GCS 不會降低我的成本,因為我必須同時保留兩種儲存(磁碟和 GCS)。

有沒有辦法將大文件寫入已安裝的 GCS 儲存桶,而無需在 GC 實例上使用所有臨時空間?

這是一種無需安裝 GCS 儲存桶即可獲得相同結果的方法。只需使用 gsutil 的流式上傳功能將 mongodump 的輸出直接通過管道傳輸到儲存桶中:

mongodump -d DBNAME -c COLLECTIONNAME --out - | gsutil cp - gs://cold-backups/daily/COLLECTIONNAME.bson

有關其他資訊,請參閱https://cloud.google.com/storage/docs/streaming

引用自:https://serverfault.com/questions/805363