Storage

用於實現大型 NAS 的 Ceph 或 Gluster

  • November 13, 2018

我們計劃建構 NAS 解決方案,主要通過 NFS 和 CIFS 使用,工作負載範圍從各種歸檔應用程序到更多“實時處理”。NAS 不會用作虛擬機的塊儲存,因此訪問實際上始終是面向文件的。

我們主要考慮兩種設計,我想請教任何想法、觀點、見解和經驗。

兩種設計都使用“某種程度的分佈式儲存軟體”。兩種設計都將基於商品伺服器建構,並應隨著我們的發展而擴展。兩種設計都涉及用於實例化“訪問虛擬機”的虛擬化,這些虛擬機將為 NFS 和 CIFS 協議提供服務——因此在這個意義上,訪問層與數據層本身是分離的。

第一個設計基於分佈式文件系統,如 Gluster 或 CephFS。我們將在這些商品伺服器上部署該軟體,並將生成的文件系統掛載到“訪問虛擬機”上,它們將通過 NFS/CIFS 為掛載的文件系統提供服務。

第二種設計基於使用 CEPH 的分佈式塊儲存。因此,我們將在這些商品伺服器上建構分佈式塊儲存,然後通過虛擬化(如 OpenStack Cinder)將塊儲存分配到訪問虛擬機中。在訪問虛擬機內部,我們將部署 ZFS,它將塊儲存聚合到單個文件系統中。這個文件系統將通過 NFS/CIFS 從同一個 VM 提供服務。

任何建議和見解都受到高度讚賞。我還應該說,由於看似簡單的架構(數據分佈在塊層而不是文件系統層),我們內部傾向於“怪物 VM”方法。

乾杯,普雷瑪

第一個設計

集群中的Gluster +(NFSGaneshaNFS)

無法訪問虛擬機。在這種情況下,Gluster 的架構比 CephFS 更簡單。Gluster 有一些關於添加節點和容量的規則。沒關係,從一開始就計劃好了。

第二種設計

如果您的目標是擁有單一訪問 VM 以提供 NFS/CIFS,Linux 可以將 Ceph 掛載為塊設備。所以你有這樣的堆棧:

Linux 中的 NFS/CIFS – Ceph RBD

如果您需要 HA 來訪問 VM,則添加 HA 集群:

Linux HA 集群中的 NFS/CIFS – Ceph RBD

或者,您可以使用Ceph iSCSI gateway代替 Ceph RBD 。

需要考慮的事項:

  1. 擴大
  2. 數據保護:2 或 3 個副本,擦除/分片
  3. 為了獲得不錯的性能,請使用企業 SATA 和 SSD 磁碟
  4. 線上/離線升級
  5. 其他解決方案:例如。DRBD

引用自:https://serverfault.com/questions/939641