Linux

儲存集群的最佳選擇

  • June 2, 2014

我正在開發一個需要大量儲存空間的應用程序,並且我想處理“內部”儲存(比 S3 便宜得多),因此我們將擁有多台伺服器(最初是 4 台)和大量儲存(每個 6TB)。

儲存需要非常靈活和可配置,每條數據都應該在至少 2 台伺服器上複製,並且必須像普通驅動器一樣從 UNIX 設備/文件/文件夾的 API 輕鬆讀取/寫入,我不知道不介意哪個。我們還必須能夠輕鬆地將內容解除安裝到我們的 HTTP CDN (Edgecast),它不需要內置 HTTP 支持,但如果沒有,我將不得不編寫一些東西來將文件放到 HTTP 上,所以它們可以被 CDN 拉取。

我看過很多解決方案,包括

  • 桉樹海象
  • OpenStack 對象儲存
  • MogileFS
  • 還有一些我不記得了

所有伺服器都將執行 RHEL 6,它們具有 4x1.5TB 驅動器,這些驅動器將被 RAID1 分配到單個分區中。所有伺服器之間都有 1GB/s 的連接,以及與無限頻寬的網際網路的 100MB/s 連接。他們有 2x2.66ghz 處理器。

我知道沒有一個完美的答案,但如果能得到一些指示會很好。

我們經常被問到與此類似的問題,我很驚訝這些以前的問題都沒有出現在你問這個的搜尋中,

無論哪種方式,我通常推薦 GlusterFS 或 Lustre,但還有許多其他分佈式文件系統可供選擇。

由於您已經是 RH 商店,因此Red Hat Enterprise Clustering and Storage Management課程可能會非常有用。

引用自:https://serverfault.com/questions/267532