VMware ESXi 和 ZFS 硬體和配置建議
我最終想花一點錢升級我公司的虛擬化基礎架構，但我已經研究了幾個星期的硬體，我不太確定什麼適合我們的需求。除了購買一些實際的伺服器硬體之外，我還想用 VMware ESXi 替換我們目前的 VMware Server。最初的預算可能在某個地方 $ 2000 but may be able to eventually scale up to $ 如果我們稍後需要調整性能，則為 3000。
在 StorageReview 上閱讀了一些關於 RAM 錯誤和硬碟故障率的可怕文章之後（以及在我自己處理了幾次磁碟故障之後），我想轉移到 ECC RAM，並且我想將我們的 VM 儲存在冗餘 ZFS 卷上以防止靜默數據損壞和數據失去。
注意：我知道關於VMware ESXi和ZFS硬體建議的各種問題，但我找不到任何關於 VMware ESXi 與儲存在 ZFS 上的 VM 的性能的討論。
目前配置
- Windows 2003 上的 VMware 伺服器
- 速龍 X2
- 8 GB 記憶體
- 2x250 GB SATA 鏡像（動態磁碟）
- 2x640 GB SATA 鏡像（動態磁碟）
現在，我們在具有 8 GB RAM 的 Athlon X2 上執行 4 個 VM 24/7。有時我們需要啟動一兩個額外的虛擬機，性能會受到影響。我們還希望虛擬化幾台額外的伺服器，但我認為在接下來的幾年中我們不需要超過一打。我讀過 VMware ESXi 可以更好地擴展，因為它是一個裸機管理程序並且它具有各種性能優化。
虛擬機：
- 2 GB RAM，Win2003（執行 Fogbugz，包括 MS SQL Server）
- 512 MB RAM，Fedora Linux（執行 MediaWiki、RT 和 Bugzilla 等遺留系統）
- 2 GB RAM，WinXP（通常用於軟體開發和測試）
- 1 GB RAM，WinXP 64 位（僅偶爾用於測試）
- 1 GB RAM，WinXP 日語（僅偶爾用於測試）
- 1 GB RAM，CentOS Linux（經常用於軟體開發和測試）
計劃配置
ESXi 伺服器：
- 入門級戴爾或惠普四核至強伺服器
- 雙四核 Xeon 55xx（最初是一個 CPU——Nehalem 值得額外花錢嗎？）
- 8-16 GB ECC RAM（最大容量至少 32 GB RAM）
我想這會讓我退縮 $ 1000- $ 如果我從 NewEgg 單獨購買 RAM，則為 1500，但我不確定是否應該將更多的錢用於新一代 Xeon，是否應該將其用於第二個 CPU，或者是否應該暫時保存它。
其他虛擬機：
- 1.5 GB RAM，Windows 2003 Small Business Server（目前僅用作域控制器；可能很快會重建/替換）
- 2 GB RAM，Windows 2003 Server（不常用的終端伺服器，以及用於我們開發環境不同部分的各種許可證伺服器）
- 偶爾用於測試的其他一些 Windows 和 Linux 工作站 VM
ZFS 伺服器：
我想我可以通過安裝免費的 Solaris 衍生產品之一，將目前的 Athlon X2 伺服器重新用作 ZFS 伺服器。（感謝 MarkM 指出，在幾週前 Oracle 停止支持後，OpenSolaris 小組解散了——我將不得不關注Illumos開源分支的進展）。我計劃通過直接千兆乙太網鏈路通過 iSCSI 將儲存提供給 ESXi。
主機板支持 8 個 SATA 驅動器，我想我會添加一個額外的 4 或 8 驅動器 eSATA 機箱，這樣我就可以擁有多個 ZFS 鏡像或 raidz2 卷。
為了數據完整性，我可能會用 ECC RAM 替換記憶體，並且可能會為 ZIL/L2ARC 添加 SSD 以提高 ZFS 性能，但我不確定花在 SSD 上的錢是否會更好地花在 SAS 驅動器上。
有什麼建議？
鑑於這些規格，我是否正確調整了伺服器的大小？SSD 和消費級/“企業”級 7200 RPN SATA 驅動器的混合是否會為我們提供足夠的磁碟性能，還是我們真的、真的需要升級到 SAS？有什麼我需要注意的問題嗎？我錯過了什麼重要的東西嗎？
最重要的是，有沒有人有過設置類似配置的經驗——如果有，它的表現如何？
由於 OpenSolaris 已死，Solaris 11 已推出 6 個多月，而 Illumos 仍在進行中，您應該考慮Nexenta Core 平台（nexenta.org 而非 nexenta.com）。如果您已經熟悉 Ubuntu 或 Debian Linux，那麼 Solaris 核心和 debian (apt) 使用者空間可以快速學習。如果您決定在以後切換到 Solaris 11/FreeBSD，您可以隨身攜帶您的 ZFS 池。我從 Linux 下的 ZFS-Fuse 開始，遷移到 OpenSolaris，然後遷移到 Nexenta:CP，所有這些都具有相同的池。
我在家裡的設置類似於您建議的 ZFS 儲存伺服器。我發現沒有 SSD 的雙核 @ 2.8Ghz（Core i5-650）、8GB ECC Ram 和 4x2TB（WD RE4 7200RPM）鏡像 zpool 的性能非常好。ESXi 通過 NFS 或 iSCSI 連接，而 Win/Mac 客戶端通過 CIFS 連接。我很容易使單個千兆連接（~95MB/秒）飽和，並且磁碟在本地具有更好的吞吐量。老實說，我家裡沒有足夠的網路設備或 IOPS 負載，無法查看為 ZIL 和 L2Arc 配備 SSD 會帶來多少延遲，但很快就會為 L2Arc 添加更多記憶體和 SSD，看看我是否真的可以讓重複數據刪除工作迅速地。
我認為如果有足夠的記憶體（8GB+）、一個不錯的 SAS 卡和鏡像池，你的 Athlon X2 盒子很可能能夠勝任這項任務。恕我直言，花在 10k/15k SAS 上的錢對 ZFS 來說是一種浪費，除非您計劃利用多路徑/智能 SAS 機箱或僅使用 4-6 個驅動器托架。你提到eSATA；考慮多通道 SAS (4x) 作為機箱連接的替代方案。除非您計劃將 1:1 esata 埠連接到驅動器，否則您將需要 4to1/5to1 eSATA 埠倍增器，在一個通道上多路復用多個驅動器。多通道 SAS (SFF 8088/SFF-8470) 是每條電纜四個真正的 SAS/SATA 通道，根據您的卡和機箱，在一端/兩端帶有分支電纜。LSI SAS 非 RAID卡非常適合 ZFS，甚至在 Nexenta 下也支持 500 美元的高端 LSI SAS 9200-16e（四路 6Gbps SAS 4x 埠）。
至於 ESXi 盒子，任何大供應商的 4/6 核伺服器今天都可以滿足您的需求，但不要指望能夠在未來填滿第二個處理器插槽，升級價格可能不合理甚至不可用（我得到了被此燒毀）。如果您要使用白盒 ESXi（用於 DR 的第二個盒子？），最大的問題是確保您在 ESXi HCL 上有一個 NIC。英特爾伺服器 NIC 可能會工作，但許多板載英特爾 e1000 和 RealTek 不會。除非找到支持的 NIC，否則 ESXi 甚至不會引導/安裝。支持的最便宜的 PCIe 附加 NIC 是 30 美元的 PCIe x1 Intel Gigabit Ct Desktop (EXPI9301ct)，但如果這是您的主要 esx 盒子，您絕對應該選擇更高端的多埠 Intel NIC，可能帶有 iSCSI TOE。可悲的是 AFAIK，在 ZFS 端（OpenSolaris/Nexenta）根本不支持 TOE。
老實說，我認為你在正確的軌道上。為 ESXi 建構一個糟糕的 ZFS SAN 可能會很好地滿足您的需求，並為您提供一些發展空間，特別是如果您堅持使用鏡像（而不是 RAIDZ）池。一旦您的 IO 需求超過 2xGigE 或者您獲得了第二台 ESXi 主機，事情就會變得更加棘手（L3 交換機、10gigE、4Gig FC 等），但是當您遇到它時，您會越過那座橋。哦，是的，不要忘記即使 ZFS 非常穩定且快照功能強大，它也不能替代適當的備份。
順便說一句，感謝您在您的問題中連結到我之前的答案。