具有高吞吐量的分佈式、並行、容錯文件系統

我正在尋找容錯且易於維護的 DFS（分佈式文件系統）。我將擁有大量（100M+）小文件（從 1K 到 500K）。文件將位於某些目錄中，這些目錄將建構數據的邏輯結構。

我的平均讀取負載為 100Mb/s，寫入負載為 100Mb/s。

我想要一些關於哪個文件系統最適合給定要求的輸入。

有什麼想法嗎？

Ceph是一個非常有趣的，具有一些簡潔的特性。一個特別酷的地方是複制功能（它決定 OSD 數據的去向）非常靈活，並且可以根據您的可靠性需求進行調整。

一般的想法是有 3 種類型的守護程序：

• OSD，儲存對象（基本上是原始字節流）

• MDS，元數據伺服器，提供文件系統語義

  • MDS 還進行自適應負載平衡——如果某些元數據真的被大量訪問，它會傳播到更多的 MDS 以分擔負載。

• 維護集群狀態和配置的監視器

客戶端在 Linux 核心的上游已經有一段時間了，而伺服器的東西完全在使用者空間中執行。

就性能而言，最初關於 Ceph 的博士論文指出，在 24 個 OSD 上，瓶頸是網路交換機的吞吐量，並且性能與節點數量成線性關係。（請參閱 ceph 網站上的出版物部分）。那是五年前的事了，從那時起進行了大量的調整。

關於可靠性，該項目由 Dreamhost 的創始人啟動，並正在其基礎設施中推廣。

引用自：https://serverfault.com/questions/285744