IPoIB（IP over InfiniBand）與 RDMA 性能

我已經部分繼承了一個 Linux HA 集群，該集群目前在兩個 Debian 主機之間通過 IPoIB（IP over InfiniBand）提供與 DRBD 8 的連接。它沒有壞，所以我不會修復它。

我還注意到 DRBD 9 支持 RDMA，因此將來可能會出現是否通過 RDMA（即“本機”InfiniBand）替換與 DRBD 9 的連接的問題。

由於我不想在生產系統上執行性能測試，我想知道：是否有已發布的 IPoIB 與 RDMA/InfiniBand 的性能比較。例如，我是否可以期望從 IPoIB 切換到 10%、50% 或 100% 的數量級帶來的頻寬/延遲增益？可以期待什麼？

你看過這些演講嗎？ https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand 只是提供 RDMA 的特定網路架構，但您的性能將取決於您正在執行的應用程序類型。我的經驗是基於學術/研究系統，主要使用基於 MPI 的應用程序。在某些情況下，我看到 RDMA 的性能比 IPoIB 好 20%。但我不知道有任何這樣的基準測試，但有很多學術論文和供應商白皮書。如果您只是考慮 I/O，請考慮：文件大小、讀取次數與寫入次數。RDMA 通常為隨機小讀取提供了很大的好處，但對寫入只有很小的好處。您可能需要閱讀 RoCE（基於融合乙太網的 RDMA）和 InfiniBand 原生 RDMA。

引用自：https://serverfault.com/questions/876403