在預算緊張的情況下設計具有相當共享的高速網際網路訪問的分段 LAN
與業主協會的另一名成員一起，我的任務是為我們的公寓樓設計和設置共享的高速網際網路接入。我們的預算非常少，並且希望能夠做到這一點，而硬體已經在手邊（意思是不是最先進的）。
作為系統管理員，我有十多年的經驗，但專注於伺服器端。雖然對（大部分）這些術語並不陌生，並且在設置較小的網路方面至少有一些實踐經驗，但設計這樣的設置肯定超出了我的主要能力範圍。
我對如何做到這一點有一個想法，但我可能沒有考慮到所有事情，當然歡迎第二意見和健全性檢查。
雖然這個問題是基於我的具體挑戰，但我認為答案將形成一種普遍合理的方法，以在預算緊張的情況下建立公平共享、分段、多租戶的網際網路訪問。我希望這個網站可以接受。
這怎麼做最好？
範圍
環境
- 54 套現有 CAT5e 佈線的公寓
- 公寓將大約 50/50 分成兩個配線間，中間有一根 CAT5e 電纜（以後可能會添加另一根）
- 基於光纖的網際網路連接，最初上限為 300 Mbps，將在一個配線間終止
- 沒有對 Internet 路由器的管理訪問權限
硬體軟體
所有硬體至少使用 5 年。有些是我們不久前買的，有些是送給我們的，因為它太舊了，不適合那家公司的生產用途（昂貴的服務、性能等等）。
- HP Proliant DL380 G6，雙 Xeon CPU，32 GB RAM，4 個千兆網卡
- 2 x Dell PowerConnect 5324 千兆託管交換機
- 2 個 HP ProCurve 2524 託管 100 Mbit 交換機
- 由於現有知識和經驗，pfSense 作為網關/防火牆的首選
- 首選在 VMWare ESXi 上執行虛擬防火牆，因為它具有可管理性（快照、完整映像備份、硬體抽象）以及執行小型 Web 伺服器的可能性，而無需額外的工具包
要求和目標
- 我們必須能夠共同利用我們支付的網際網路頻寬
- 我們希望將來能夠支持更高的頻寬
- 作為 100 Mbps 交換機，我們需要能夠將至少兩條上行鏈路從 HP 中繼/組合到 Dell 交換機
- 公寓之間不應有通道
- IP 地址必須由 DHCP 分配給公寓
- 我們還將執行 Web 伺服器和郵件伺服器，它們必須可以從內部和外部訪問
- 有什麼明顯的遺漏嗎？
粗略的設計理念
物理網路
- 在每個更新檔室安裝戴爾千兆交換機
- 通過配線間之間的單根電纜連接兩台戴爾交換機
- 使用鏈路聚合通過兩條上行鏈路將 HP 100 Mbit 交換機連接到每個戴爾交換機
- 將所有伺服器網卡連接到千兆埠，保留一些額外的千兆埠以供將來使用
- 將盡可能多的公寓連接到可用的千兆埠，其餘的連接到 100 Mbit 埠
區域網路設置
- 為每間公寓創建一個 VLAN
- 將未標記的單個 VLAN 分配給每個公寓交換機埠
- 分配在（聚合）上行鏈路埠上標記的必要 VLAN
- 將上行鏈路上標記的所有公寓 VLAN 分配給“公寓 LAN”的伺服器 NIC
- 將上行鏈路上未標記的預設 VLAN (ID 0) 分配給“管理 LAN”的伺服器 NIC
伺服器
- 為“Apartment LAN”專用一個物理伺服器網卡，一個用於“Administrative LAN”，一個用於“WAN”，一個用於“DMZ”
- 安裝 VMWare ESXi，為每個公寓創建虛擬 NIC（使用它們的 VLAN ID），連結到“公寓 LAN”物理 NIC
- 將“WAN”伺服器網卡連接到網際網路路由器
- 安裝和配置 pfSense 以處理路由，添加所有公寓 vNIC，
問題
- 我們的想法是否通過了您的健全性檢查？設計中有任何明顯的缺陷或缺陷嗎？
- 期望從執行虛擬化的 pfSense 中獲得 300+ Mbps 的路由是否合理？
- 我們可以/應該使用哪種鏈路聚合將兩個不同品牌的交換機連接在一起——最好同時提供容錯和n倍 100 Mbps 上行鏈路
- 我們能否期望 VLAN 按預期工作，結合標記和未標記、跨不同品牌的交換機、通過鏈路聚合併傳遞到 VMWare？
- 鑑於所提議的設計，我不太確定我們將如何處理路由並允許從選定公寓（管理設置的公寓）訪問管理 VLAN，但總的來說，這是一件小事。
編輯：我們最終得到了什麼
很抱歉無線電靜音，但我們費了很大力氣才能按照我們的意願進行網路設置。事實證明這是一個真正的 PITA，試圖為每個交換機埠設置隔離，跨越各種品牌的交換機。
我們得到的特定型號的戴爾交換機是少數不支持專用 VLAN 的型號之一。相反，我們購買了一台舊的 48 埠 Allied Telesis 交換機，但是雖然“私有”埠無法相互通信，但每個埠都沒有與我們要求的管理網路隔離。惠普的“埠隔離”功能如宣傳的那樣工作，但他們沒有足夠的埠。
經過一番努力，我們設法獲得了 1 個 48 埠和 2 個 24 埠 Cisco Catalyst 2950 - 每個都有 2 個千兆上行鏈路埠，其餘 100 Mbit。這有什麼不同！無需再為使同一功能的不同供應商變體一起工作而煩惱。
我們執行 pfSense 虛擬機，以及一些低強度的 VM，並且可以輕鬆地路由 300 Mbps，而不會讓伺服器出汗。
在總結的項目符號形式中，這是我們為實現目標所做的，也是我們目前正在執行的。希望這可以證明對某人有用。感謝您的輸入！
物理網路
- 與伺服器和網際網路在同一房間的 48 埠交換機 - 一個千兆上行鏈路到伺服器中的租戶 NIC，另一個到另一個房間的 24 埠交換機
- 另一個房間的兩台24口交換機之間的千兆上行
- 100 Mbit 埠連接到伺服器中的管理 NIC
- Internet 路由器連接到伺服器中的 WAN NIC
開關配置
- 免費的 Cisco Network Assistant 軟體用於從同一界面配置所有設備。強烈推薦！
- VLAN 1 被指定為我們的管理網路
- 在每個租戶埠上配置受保護的埠（隔離）和埠安全性（每個埠的 MAC 地址有限）
- 由於交換機只是通過乙太網連結，而不是堆疊，因此“受保護埠”在交換機之間沒有任何影響。也就是說，一個交換機中的租戶埠可以與其他交換機上的所有租戶埠通信。為了解決這個問題，我們為每個交換機創建了一個單獨的租戶 VLAN，（VLAN ID 與交換機 IP 地址的第四個八位字節匹配）
- 配置了“Smartports”的交換機之間的上行鏈路埠，以啟用中繼。本機 VLAN 設置為 1，允許所有其他 VLAN（已標記）
- 在交換機 A 中，租戶上行鏈路到伺服器 NIC，配置為執行租戶 VLAN A 本機、VLAN B 和 C 標記
pfSense（和一點 VMWare）配置
- 為 WAN、管理 LAN、租戶 LAN 伺服器 NIC 設置單獨的 vSwitches (VMWare)
- 租戶 vSwitch (VMWare) 從 VLAN ID 0（無）更改為 4095（全部）
- 在 pfSense 中分配的介面，相應標記（WAN、管理員、租戶）
- 兩個 VLAN 添加到租戶 NIC，租戶 VLAN B 和 C 的 ID（因為 VLAN A 已經執行未標記） - 現在我們在 pfSense 中有 3 個租戶介面
- 添加了三個租戶介面的介面組，以簡化防火牆規則的管理
這幾乎就是與我的問題有關的配置。我們還添加了用於遠端管理員訪問的 OpenVPN，從 Windows PC 自動配置備份，添加了 DMZ 介面，並繼續微調和改進我們現在超級強大的 6 介面防火牆/路由器！:-)
- 我們的想法是否通過了您的健全性檢查？
我會考慮在 pfSense 中處理 VLAN 介面，而不是用 54 個額外的 NIC 來搞亂 ESXi，它並不需要知道（個人偏好）。
您沒有提及任何有關您的定址的資訊，但假設您使用的是 RFC1918 私有地址（因此您可以完全控制），請確保定址有意義。就個人而言，我喜歡確保我的 VLAN 標籤與我的子網匹配。在這種情況下，我會做這樣的事情：
10.0.0.0/24 => Admin 10.1.101.0/24 => Apartment 1 (VLAN 101) 10.1.102.0/24 => Apartment 2 (VLAN 102) ... 10.1.154.0/24 => Apartment 54 (VLAN 154)我在 VLAN 中添加了 100，因為您不想將 VLAN 1 用於 Apartment 1。我還將管理子網和公寓子網保存在單獨的 /16 中，這樣您就可以在未來如果需要。
當租戶想要有公寓間的交通時，你將如何處理？（例如，我和鄰居是好朋友，我想和他/她分享我 NAS 上的影片）。這與其說是一個技術問題，不如說是一個政策問題。
- 設計中有任何明顯的缺陷或缺陷嗎？
你最終會在 pfSense 中得到很多 NIC，你必須確保它們之間不能路由。我已經多年沒有使用 pfSense，但原則上你需要設置一個預設的 DENY 策略。這將阻止 Apt X 將流量路由到 Apt Y，而無需手動確保策略始終到位。然後創建單獨的 ALLOW 策略，只讓每個 apt 通過 Internet 連接。
- 期望從執行虛擬化的 pfSense 中獲得 300+ Mbps 的路由是否合理？
當您使用千兆網卡時，我不明白為什麼不這樣做。虛擬化不會增加那麼多成本。
- 我們可以/應該使用哪種鏈路聚合將兩個不同品牌的交換機連接在一起——最好同時提供容錯和 n 倍 100 Mbps 上行鏈路
LACP。
- 我們能否期望 VLAN 按預期工作，結合標記和未標記、跨不同品牌的交換機、通過鏈路聚合併傳遞到 VMWare？
802.1q 是一個“標準”…根據交換機的使用年限，如果它們是在 802.1q 仍在最終確定時設計的，它們可能會做一些“奇怪”的事情，但你應該很安全。
- 鑑於所提議的設計，我不太確定我們將如何處理路由並允許從選定公寓（管理設置的公寓）訪問管理 VLAN，但總的來說，這是一件小事。
預設拒絕策略會阻止這種情況，因此您只需要添加明確的 ALLOW 來允許它。