Amazon-Ec2

通過 AWS 進行分佈式計算

  • March 18, 2015

我知道可以使用 ELB/EC2 實例來平衡流量,但是有沒有辦法在實例集群上分配 CPU 計算。

我想使用 ffmpeg 處理大量影片/音頻,但如果伺服器變得太慢,我希望能夠生成另一個具有相同設置的實例以從主伺服器中承擔一些負載。把它想像成一個小型加工農場

我希望在亞馬遜上做的事情是否可行,如果可以,我應該在文件和 AWS 服務方面尋找什麼?謝謝

在這方面,亞馬遜的 EC2 實例與任何其他硬體沒有什麼不同。

是的,有一些框架可以幫助集群計算,但這並不簡單,而且肯定沒有可以安裝的“神奇”包來使其工作。

您的應用程序需要在編寫時考慮到並行化/集群,以便有任何工作機會,並且它是否會工作在很大程度上取決於您的特定工作負載。

OP 已經接受了@ErikA 的回答,但我將發表其他一些想法。雖然 EC2 實例確實提供了與其他硬體沒有什麼不同,但 AWS 作為一個整體並非如此。有幾種服務專門用於在小型(或大型)處理場中分配計算和服務。

有一些很好的資源描述瞭如何使用 AWS 服務套件進行影片處理。我建議從Encoding.com 案例研究開始,然後再深入探勘架構中心的一些計算領域。

可用服務的組合是獨一無二的:EC2 和 Elastic Beanstalk 用於計算資源,S3 用於大規模 Blob 儲存,SimpleDB 用於小型 Blob 儲存(元數據),以及 SQS/SWS 以支持消息傳遞和任務分配。您當然可以設計和部署執行任何或所有這些事情的系統,但是使用 AWS 帳戶,您可以在今天下午啟動整套任務。

引用自:https://serverfault.com/questions/417372