Ipmi

IPMI 邊帶如何與主機共享乙太網埠?

  • October 16, 2016

我們有許多具有 IPMI/BMC 功能的 Supermicro 機器。其中一些機器使用板載 BMC,而其他機器使用附加卡

我們正在考慮使用邊帶,因為它可以降低成本和佈線要求。然而,一些邊帶細節不太有意義。

邊帶需要一根乙太網電纜,該電纜插入主機板上的乙太網埠。該網路埠隨後在 IPMI 系統和作業系統之間共享。根據我在Supermicro 手冊中所讀到的內容,“使用與 LAN1 相同的 MAC 地址用於 SIMSO IPMI 卡”。但是,IPMI 必須具有與作業系統不同的 IP 地址。

怎麼可能有兩個設備(作業系統和 IPMI)可以在同一個物理網路埠上偵聽和傳輸?當數據包到達介面時,系統如何確定該數據包是用於作業系統還是用於 IPMI 系統?

這些數據包是否完全由 CPU 使用 CPU 中斷處理?作業系統可以查看到 IPMI 介面的數據包嗎?

我使用板載 IPMI 管理許多 SuperMicro 伺服器。我與共享(又名邊帶)乙太網有愛/恨的關係。一般來說,這些東西的工作方式是 LAN1 似乎有 2 個(不同的)MAC 地址 - 一個用於 IPMI 介面,另一個用於您的標準 Broadcom NIC。到 IPMI 介面(第 2 層,基於 MAC 地址)的流量會在作業系統級別以下被神奇地攔截,並且不會被任何正在執行的作業系統看到。

您已經為他們找到了一個好處:減少佈線。現在讓我介紹一些缺點:

  • 以安全的方式將 IPMI 介面劃分到單獨的子網中特別困難。由於流量都通過同一根電纜傳輸,因此您(幾乎)總是必須在同一 IP 子網上擁有 IPMI 介面和 LAN1 介面。在最新的主機板上,IPMI 卡現在支持將 VLAN 分配給 IPMI NIC,因此您可以獲得一些分離的外觀 - 但底層作業系統始終可以嗅探該 VLAN 的流量。較舊的 BMC 控制器根本不允許更改 VLAN,儘管 ipmitool 或 ipmicfg 之類的工具表面上可以讓您更改它,但它只是不起作用。
  • 您將故障點集中在系統上。在交換機上進行配置並設法以某種方式切斷自己?恭喜,您現在已經切斷了與伺服器的主要網路連接以及通過 IPMI 進行的備份。網卡硬體故障?恭喜,同樣的問題。
  • 早期的 SuperMicro IPMI BMC 因使用網路介面做不可靠的事情而臭名昭著。是使用板載還是專用 IPMI 埠通常在開機時確定(而不是重新啟動),並且不會從那里切換。如果您停電並且您的交換機沒有足夠快地供電,您最終可能會導致 IPMI 無法工作,因為它自動檢測到錯誤的設置。
  • 我個人遇到了很多奇怪的、無法解釋的連接問題,以使邊帶 IPMI 可靠地工作。有時我根本無法在幾分鐘內 ping 介面 IP。有時我會在分配的 VLAN 上收到大量數據包,但流量似乎都被丟棄了。

雖然這與 sideband-vs.-dedicated 無關,但我還要注意訪問主機系統的工具編寫得非常糟糕。較舊的 IPMI 卡不支持本地身份驗證以外的任何其他功能,這使得密碼輪換非常痛苦。如果您使用的是 KVM-over-IP 功能,那麼您將無法使用簽名不當、過期的 Java 小程序或只能在 Windows 上執行且需要 UAC 提升才能執行的奇怪 Java 桌面應用程序。我發現鍵盤輸入充其量是參差不齊的,有時會出現“卡住的鍵”,以至於如果不嘗試 10 次就無法輸入密碼登錄。

我最終設法讓 40 多個系統使用這種安排。我有大部分更新的系統,我可以將 IPMI 介面 VLAN 到一個單獨的子網,我主要通過 ipmitool 使用串列控制台,它執行良好。對於下一代伺服器,我正在研究支持 KVM 的 Intel AMT 技術;因為這使它進入伺服器空間,我可以看到用它替換 IPMI。

引用自:https://serverfault.com/questions/259792