4X10GB 綁定 NIC - 僅產生 4-5GB 吞吐量
我有兩台執行 Ubuntu 15.04的HPBL685c G6 刀片伺服器
- 每台伺服器有 4X10GB 網卡
- 2x10GB NIC 連接到單個VirtualConnect 10/10G 乙太網模組
- 另一個 2x10GB NIC 連接到第二個VirtualConnect 10/10G 乙太網模組
- 虛擬連接模組配置為水平堆疊,位於互連托架 1 和 2
- 所引用的 NIC 都是嵌入式 Flex-10 適配器
當我分別配置 4 個 10GB NIC 時,我可以使用 iperf 進行測試,並且每個 NIC 在伺服器之間接收到 ~10Gbit/sec 頻寬。這按預期工作。
- 伺服器 1:http ://d.pr/n/15dA5
- 伺服器 2:http ://d.pr/n/10pqJ
- iperf 結果:http ://d.pr/i/pscU和http://d.pr/i/zh2E
現在,我嘗試使用綁定模式“balance-rr”綁定每台伺服器上的所有 10GB NIC。這些結果各不相同,但落在 2.5Gbits/sec 和 5Gbits/sec 之間
- 伺服器 1:http ://d.pr/n/1aTei
- 伺服器 2:http ://d.pr/n/12Mqy
- iperf 結果:http ://d.pr/i/1cvh0和http://d.pr/i/1eOgU
我使用相同的配置在這些相同的伺服器上綁定 2X1GB NIC,使用 iperf 進行測試時,2X1GB NIC 綁定的頻寬約為 2Gbit/sec。這 2 個 NIC 未連接到 Virtual Connect 域,而是分別連接到不同的Cisco Catalyst 刀片交換機 3120
- 伺服器 1:http ://d.pr/n/1kk4f
- 伺服器 2:http ://d.pr/n/fbVJ
- iperf 結果:http ://d.pr/i/10N4q和http://d.pr/i/1a0z3
所以,我的問題是:為什麼使用 balance-rr 綁定 4X10GB NIC 會導致性能低於使用單個 NIC。我原本預計約 40Gbit/秒的頻寬減去 TCP/綁定成本,這與綁定 2X1GB 和測試時獲得約 2GB 的結果一致。
我已經嘗試過使用不同的綁定模式,而其他綁定模式的頻寬約為 10Gbit/sec。仍然不理想,但比 balance-rr 結果好。
在 Linux 部署中,Virtual Connect 模組似乎不支持綁定模式 0 (balance-rr)。
來自 HP 支持:http ://h20564.www2.hp.com/hpsc/doc/public/display?docId=emr_na-c02957870
資訊 HP Virtual Connect 環境中不支持的綁定模式可能會導致封包遺失和/或性能問題。
詳細資訊 HP Virtual Connect 支持綁定模式 1、5 或 6。VC 不支持模式 0(循環)或 7(交換機輔助負載平衡)。
**模式一:**主動/備份。主動備份策略:綁定中只有一個從屬設備處於活動狀態。當且僅當活動的從屬失敗時,另一個從屬變為活動的。綁定的 MAC 地址僅在一個埠(網路適配器)上對外可見,以避免混淆交換機。
**模式 5:**自適應傳輸負載平衡:不需要任何特殊交換機支持的通道綁定。傳出流量根據每個從站上的目前負載(相對於速度計算)分配。目前從站接收傳入流量。如果接收從機失敗,另一個從機接管失敗的接收從機的 MAC 地址。
**模式 6:**自適應負載均衡:包括 balance-tlb 加上 IPV4 流量的接收負載均衡 (rlb),不需要任何特殊的交換機支持。接收負載均衡是通過 ARP 協商實現的。