iSCSI SAN RAID 10 性能 - 讀取不佳,寫入良好
我有一個帶有最新韌體的 EqualLogic PS4000 SAN 單元,在 RAID 10 中設置。我在 SAN 上有 3 個 2TB 卷,通過 iSCSI 在兩個不同子網上的 2 個 eth 埠上共享。我已經將一個測試伺服器移到這個新設置的 SAN 上,我的測試顯示了一個問題。
除了 32 隊列深度的測試外,我在所有方面的讀取性能都很差(見附件圖片)
寫性能似乎是正確的。
我已經嘗試過打開和關閉 MPIO,打開稍微好一點,但不多。
我找到了問題!
問題出在 SAN 中我的主機之間的網路層。我首先將 SAN 直接連接到主機,我沒有遇到問題。所以我把它重新連接起來,並開始對網路進行故障排除。這個特殊的 PS4000 SAN 發出的流量顯然受到生成樹協議的不利影響。一旦我在與 PS4000 SAN 關聯的埠上禁用了 STP,一切都開始按預期工作。
感謝您給予我的所有意見,幫助我實現了這一目標。
首先要注意的是,您實際上並沒有在這裡測試 SAN 性能。由於您的 IO 基準測試執行在虛擬機的 C 驅動器上,我猜它是儲存在其中一個 2TB 卷的文件系統中的虛擬硬碟驅動器(例如,儲存在 VMware VMFS 數據儲存中的 VMDK)。如果這是您在此卷上執行的唯一測試,甚至在此 VM 上執行的唯一測試,則您在 I/O 路徑中添加了許多不應該用於測試目的的層。
我建議您讓您的虛擬機直接 iSCSI 訪問單獨的測試卷,格式化該卷,然後在測試卷上再次執行測試。
其次,您需要確定磁碟上的 IOPS 負載是否是您的結果中的一個因素,假設該陣列已經投入生產並且有正常工作負載。SAN 總部由戴爾免費提供,前提是您對系統有有效的保修。SAN HQ 為您提供有關每個主軸的 IOPS 數據,並且可以顯示在您執行這些測試時 I/O 是否嚴重排隊。
使用 16 x 7.2K 主軸和您擁有的 MPIO/網路設置,您應該能夠輕鬆地使該 VM 可用的單個千兆位鏈路飽和(由於您的水平分割配置,我將在下面介紹)。如果其他 I/O 正在使用該單個鏈路的任何頻寬,這是另一個會限製或可能中斷您的結果的因素。
通過 iSCSI 在兩個不同子網上的 2 個 eth 埠上共享
這肯定會導致性能問題 - Equallogic 陣列並非設計用於多個 iSCSI 子網,並且根本不支持此配置。使用您目前的配置,您在 EQL 陣列端沒有網路級冗餘(如果 EQL 端的網路連結出現故障,一個子網將失去所有 iSCSI 訪問)。
最後要提到的因素是 Hypervisor 本身。物理主機配置或硬體問題也可能是一個因素。如果您能夠完全排除磁碟 IOPS 工作負載和網路頻寬可用性是性能問題的罪魁禍首,您可能需要尋求支持提供商的幫助。我強烈建議您聯繫戴爾的 Equallogic 支持團隊,尤其是在您使用 VMware ESX 時。