Amazon-S3

流式傳輸頻寬限制 Amazon S3 + CloudFront

  • January 5, 2017

很長一段時間以來,我一直在研究使用 Amazon Elastic Transcoder 來實現點播影片流方案。圍繞轉碼成本和限制的變數對我來說很清楚。我受到流頻寬可擴展性要求的約束,最好以 200Mbit/s 為增量。

然而,我正在努力掌握流媒體成本。根據我從文件中了解到的情況,我將使用 Elastic Transcoder 進行轉碼,將這些文件傳輸到 Amazon S3,然後使用 CloudFront 提供內容。使用計算器可以輕鬆確定轉碼、儲存成本和 CloudFront 捲成本。我似乎找不到有關 CloudFront + S3 頻寬的資訊。

根據這個文件,CloudFront 的頻寬限制似乎是 40Gbps 。我很難相信這樣的頻寬使用不會向我收取額外費用。此外,我懷疑 S3 伺服器/節點能否提供 40Gbps 連接。

所以真正的問題是:使用(Elastic Transcoder +)Amazon S3 + CloudFront 的最大流頻寬是多少?以及如何以及何時會受到限制?還是 CloudFront 定價僅取決於出站數據傳輸量?

我很難相信這樣的頻寬使用不會向我收取額外費用。

40 Gbit/sec 不是“使用”——它是可用容量。您無需為可用容量付費。您需要為使用付費,即 CloudFront 定價表中提到的“區域數據傳出到 Internet(每 GB)”。當 CloudFront 從 S3 獲取對象時,從 S3 到 CloudFront 的頻寬是免費的。

此外,我懷疑 S3 伺服器/節點能否提供 40Gbps 連接。

嗯……不要。:) 對於大型 EC2 實例類型之一(例如 hi1.4xlarge、cc2.8xlarge),如果實例與儲存桶位於同一區域,並且您從 S3 下載大文件,則可以輕鬆查看單個文件的下載傳輸速率在 S3 的 1 Gbit/sec 範圍內。它有能力。

當然,40 Gbps 不是單次下載可用的容量,但在 AWS 的規模上,這麼多可用頻寬根本不是不可能的。您描述的架構中的所有組件都不是專門為您服務的。

它由所有 - 或重要子集 - 客戶共享,因此無需 40 Gbit/sec 的任何東西專用於您的使用。它也不需要在一個地方。CloudFront 邊緣網路上有 60 多個不同的獨立位置,每個瀏覽器連接到 CloudFront(在 Route 53 的幫助下,即使不是 Route 53 客戶)認為是每個瀏覽器的最佳邊緣位置,使用他們自己的專有地理路由數據庫,似乎是自適應的。(我的測試站點會顯示您的瀏覽器目前正在使用的邊緣位置,如果我的實驗映射邏輯可以確定它 - 它通常可以 - 我看到它會定期移動,即使我從家裡訪問該站點也是如此。)

由於只有 40 個邊緣站點,比目前數量少,每個邊緣可用的少量頻寬可容納 40 Gbit/秒的傳輸到全球分散的受眾。

每個區域的 S3 基礎架構也分佈在跨越該區域可用區的硬體中。

40 Gbps 實際上甚至不是物理限制…

以及如何以及何時會受到限制?

…這是一種軟體強制保護控制。就像每秒 100,000 個請求的限制一樣。該請求將被拒絕。

LimitExceeded– 由於超出 CloudFront 限制,請求被拒絕。

http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/AccessLogs.html

CapacityExceeded將此與在 CloudFront 網路中出現實際問題阻止請求被處理時記錄的情況進行對比。

S3 文件沒有提到頻寬限制,但在關於擴展的討論中:

如果您預計儲存桶的請求率會快速增加到每秒 300 多個PUT//請求LISTDELETE每秒超過 800 個GET請求,我們建議您打開支持案例以準備工作負載並避免對您的任何臨時限制請求率。

http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html

請注意,這指的是“快速增加”,這意味著逐漸增加將由 S3 的自動縮放和/或對其詞法排序的對象鍵索引的分片自動處理。

使用 (Elastic Transcoder +) Amazon S3 + CloudFront 的最大流式傳輸頻寬是多少?

當然,一切都是有限的,但就所討論的服務而言,沒有辦法有意義地描述這些限制。對於所有實際目的,它實際上是無限的。

請注意,為了荒謬地玩數字,實際上整整一個月整夜使用40 Gbit/s 幾乎肯定不會發生,但如果這樣做的話,出站數據傳輸成本將超過 400,000 美元(一個非常整數的數字,區域定價和折扣層使計算變得複雜)但使得這麼多容量在技術上“可用”這一事實看起來更可信 - 如果你想付費使用它,容量就在那裡,但是如果你不使用它,你就不用付錢。

引用自:https://serverfault.com/questions/824338