Linux

如何在不使用 IP 的情況下使用 infiniband 從本地伺服器訪問文件

  • January 31, 2022

我想首先說我對我所做的一切都非常缺乏經驗,所以請放輕鬆。

我有 4 台電腦,每台都安裝了 Red hat Enterprise Linux server 7.8,它們都連接到執行子網管理器的 Voltaire 網格控制器 4036 infiniband 交換機。為簡單起見,我將電腦稱為 s1-s4。我希望 s2、s3 和 s4 能夠在不使用 IP 的情況下從 s1 訪問和下載文件,因為我已經讀過刪除 IP 的使用可以將性能提高多達 20%(如果我錯了,請糾正我) . 甚至可以在不使用 IP 的情況下進行文件傳輸嗎?

另外,由於我是這個網站的新手,請隨時告訴我是否應該提供更多資訊或不清楚某些事情。如果您認為我誤解了某些內容,那麼您也可以隨時糾正我。

謝謝

tl;博士:看看並堅持使用 NFSoRDMA。

這是需要明確的幾點。考慮到您使用 RHEL 7 作為基礎,您可能希望通過 NFS 從 s1 到 s2、s3 和 s4 提供文件。

由於性能和延遲問題,您在 Infiniband 上執行 IP 的權利是問題,更不用說高 CPU 負載了,因為 Infiniband 上基本上沒有 IP 解除安裝,一切都在軟體中完成。執行純 IPoIB 工作負載時,您可能會擁有一台伺服器,其 99% 的 CPU 週期都浪費在ksoftirq.

考慮到這一點,還有另一個問題:NFS 以及其他文件服務依賴於 IP 網路才能正常執行。

您想要的是啟用 RDMA 的文件共享協議。通常它們仍然依賴於 IP,但僅用於初始握手,在連接建立後,它們升級到 RDMA,在您的情況下,使用 Infiniband。還有其他實現 RDMA 的結構:例如 RoCE 和 Omni-Path。

對於 NFS,您應該尋找 NFSoRDMA(NFS over RDMA)。你沒有說你有哪些硬體,但如果是 Mellanox,你需要安裝 MLNX OFED(可能是支持舊硬體的 LTS 4.9 版本)並啟用 NFSoRDMA。我不確定 NFSoRDMA 是否可用於 INBOX RHEL 7 OFED 實現。在 EL8 上可用 AFAIK。

通常,您仍然需要一個帶有 IP 地址的啟動並執行的 IPoIB 介面ib0,但如果配置正確,NFS 將僅通過 IP 傳輸控制消息,而批量流量將通過 RDMA。

其他文件系統,例如BeeGFS以相同的方式執行。通過 IP 進行初始化併升級到 RDMA。Gluster過去是一個選項,但 RDMA 已從中刪除。

引用自:https://serverfault.com/questions/1059361