Linux

NFS 儲存 VMware 磁碟映像的最佳文件系統選擇

  • October 10, 2010

目前,我們使用 iSCSI SAN 作為多個 VMware ESXi 伺服器的儲存。我正在研究在 Linux 伺服器上將 NFS 目標用於其他虛擬機。如果可以提供顯著優勢,我也願意使用替代作業系統(如 OpenSolaris)。

什麼基於 Linux 的文件系統有利於非常大的連續文件(如 VMware 的磁碟映像)?或者,人們是如何在 OpenSolaris 上為這種工作負載找到 ZFS 的?

(這個問題最初是在 SuperUser 上提出的;如果您知道如何遷移,請隨時在此處遷移答案)。

我真的建議您看一下 ZFS,但要獲得不錯的性能,您需要選擇一個專用設備作為 ZFS Intent Log (ZIL)。基本上這是一個小型設備(幾 GB),可以非常快地寫入(20-100K IOPS),它可以讓 ZFS 立即確認寫入已同步到儲存,但最多等待 30 秒才能將寫入實際送出到硬碟你的游泳池。如果發生崩潰/中斷,ZIL 中的任何未送出事務都會在掛載時重播。因此,除了 UPS 之外,您可能還需要一個帶有內部電源/超級電容器的驅動器,以便在斷電時任何待處理的 IO 將其永久儲存。如果您選擇不使用專用的 ZIL 設備,寫入可能會有高延遲,從而導致各種問題。假設你對 Sun 不感興趣

  • DDRDrive X1 - 專為 ZIL 使用而設計的 PCIe x1 卡中的 4GB DDR2 + 4GB SLC 快閃記憶體。寫入到 RAM;在斷電的情況下,它會在不到 60 秒的時間內將 RAM 同步到 NAND,並由超級電容器供電。(50k-300k IOPS; $ 2000 Direct, $ .edu 為 1500)
  • Intel X25-E 32GB 2.5inch SSD (SLC, but no super cap, 3300 write IOPS);$$ $390 @ Amazon $$$$ 11 $$
  • OCZ Vertex 2 Pro 40GB 2.5 英寸 SSD(超級電容,但 MLC,20k-50k 寫入 IOPS);435 美元@亞馬遜

安裝好 OpenSolaris/Nexenta + ZFS 後,有很多方法可以在 OpenSolaris 和 ESX boxen 之間移動塊;什麼適合您在很大程度上取決於您現有的基礎設施(L3 交換機、光纖卡)和您的優先級(冗餘、延遲、速度、成本)。但是,由於您不需要專門的許可證來解鎖 iSCSI/FC/NFS 功能,您可以評估您擁有的任何硬體並選擇您最喜歡的:

  • iSCSI 目標(CPU 成本;OpenSolaris 中不支持 TOE)
  • 光纖通道目標(光纖卡並不便宜)
  • NFS(VMWare + NFS 可能很挑剔,限制為 32 個掛載)

如果您無法花費 500 美元進行評估,請在禁用和不禁用 ZIL的情況下進行測試,以查看 ZIL 是否是瓶頸。(可能是)。不要在生產中這樣做。除非您還有大量記憶體和用於 L2ARC 的 SSD,否則暫時不要搞亂 ZFS 重複數據刪除。設置好後肯定會很好,但在使用 dedup 之前,您肯定會嘗試進行一些NFS 調整。一旦使 1-2 Gb 鏈路飽和,8gb FC、10gigE 和 infiniband 就有增長機會,但每個都需要大量投資,即使是用於評估。

引用自:https://serverfault.com/questions/144639