10GE網路：還是貴得要命嗎？有什麼選擇嗎？

我正在建構家庭集群，我將在其中擁有大約 16 個節點，可以使用 1G 埠，但我希望在文件伺服器和中央節點上擁有 10GE。都是本地的，所以不需要超過 3-5m 的電纜。當然，我想花盡可能少的錢（不會花費超過整個集群成本）:-)

我有哪些選擇？

1. 傳統解決方案是採用一些 24-48 埠 1GE 交換機，並通過 4-8 個聚合鏈路連接到文件/中心節點。我想這會起作用，成本是可以接受的，但我不確定使用那麼多聚合連結是否可以。當然，在需要時很難將頻寬翻倍…… :-D
2. 帶有多個 10GE 上行鏈路“埠”的交換機。據我所知，它們都需要大約 1000 美元的模組 $ , so I will need 4 10G modules, and 2 10GE cards… Smells like way more than 5000 $ +…
3. 通過2個10G卡直接連接文件和中心節點，並在文件伺服器上放置4個四埠1GE網卡。我節省了 2 個 10G 模組和一個交換機，文件伺服器必須進行數據包路由，但它仍然會有很多 CPU 剩餘 :-)
4. 還有其他選擇嗎？無限帶？
5. MyriNet 適配器工作正常嗎？我想沒有更便宜的選擇嗎？
6. 嗯…報廢文件伺服器，將其全部放在中央節點上，並為每個節點提供專用的 1GE 埠…這很可悲…

我不認為你沒有在這裡看到整個畫面。

您希望以 10Gbps 的速度連接文件伺服器，這聽起來可能是個不錯的主意。您沒有看到的是該伺服器生成從磁碟讀取的流量的能力。今天，從文件伺服器獲得 1GBps 是一個非常好的成就。10Gbps 不僅會像您自己意識到的那樣昂貴，而且至少 90% 沒用。

如果需要提供如此大量的 IO，您最好的選擇是開始在文件伺服器中放入一些速度極快的磁碟。我堅信“負擔得起”（注意引號）的路徑是快速 RAID 配置（即 RAID10）中的 SSD 驅動器。

至於網路，一個 4x1Gbps 的聚合就可以了，你甚至可以在以後添加更多。請注意，內部匯流排（讀取 PCI*）並不總是能夠處理數千兆位的速度。如果您不使用伺服器級主機板，則尤其如此。

我相信這是您在這裡唯一的“負擔得起”的選擇。Infiniband 卡並不昂貴。我相信你可以花 150 美元找到一些，但開關會非常昂貴。

引用自：https://serverfault.com/questions/215893