企業級硬體上直接千兆乙太網鏈路的高 ping 延遲
最終編輯 7/7多個電纜、埠和設備替換已將範圍縮小到 Comcast 調製解調器及其所有 8 個乙太網埠。鑑於,正如評論所說,這是一個封閉的設備,不太可能獲得太多真實資訊,我們可能永遠不會發現,但我仍然會發布決議作為答案。
(編輯 1/6 動機;潛在的實際問題)基於使用者對電話會議問題的投訴,我想消除所有可能的原因。在驗證了從筆記型電腦到伺服器的完美 LAN 和 WiFi 連接,然後看到非常不均勻的端到端 ping 延遲——通常遠高於建議的 100 毫秒限制——按照此處的指示,使用 Google Meet 伺服器,我回溯到延遲的來源。(當然,這不一定是 Google Meet 延遲的根本原因,但我需要將其排除為可能的原因。)
事實證明,不均勻和高延遲來自 Sophos UTM 9 SG125(韌體:9.703-3)與 Comcast CGA4341COM 千兆調製解調器(製造商:Technicolor;硬體版本:2.3;晶片組:Broadcom)之間的直接連結。
鏈路兩端都報告千兆連接。Speedtest 可
speedtest.xfinity.com
通過硬連線的區域網路伺服器提供 400Mbps 範圍的結果。(編輯 2/6 問題的附加證據這似乎很好,除了當同一伺服器直接連接到調製解調器時,完全切斷路由器和 LAN 的其餘部分,吞吐量為 930Mbps。)在 Sophos 上使用 10 英尺 Cat5e 電纜直接連接調製解調器的 SSH cmd 線路上進行長時間測試後:
—— xx.xx.xx.134 ping statistics --- 756 packets transmitted, 756 received, 0% packet loss, time 755277ms rtt min/avg/max/mdev = 0.162/21.789/199.543/34.605 ms
長長的 ping 非常密集地穿插:
64 bytes from xx.xx.xx.134: icmp_seq=1 ttl=64 time=58.2 ms 64 bytes from xx.xx.xx.134: icmp_seq=2 ttl=64 time=0.645 ms 64 bytes from xx.xx.xx.134: icmp_seq=3 ttl=64 time=72.4 ms
整天嘗試這個沒有任何改變。調製解調器的所有無關功能都被禁用:埠轉發、埠觸發、防火牆、MAC 訪問控制、dhcp、wifi 等。
(編輯 3/6 回复:可能導致延遲的流量負載)這也發生在半夜,因此與流量無關。當鏈路使用率低於 1% 時,儘管 ping 可能不准確,但優先級不應該發揮作用。
(編輯 4/6 回复:ICMP 的可能低優先級)
traceroute
,使用 UDP,顯示相同的延遲模式:traceroute -q 10 -w 1 10.1.10.1 traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP 1 10.1.10.1 (10.1.10.1) 71.784 ms 70.684 ms * * * 66.310 ms * * * * traceroute -q 10 -w 1 10.1.10.1 traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP 1 10.1.10.1 (10.1.10.1) 1.218 ms 1.151 ms * * * * * * * * traceroute -q 10 -w 1 10.1.10.1 traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP 1 10.1.10.1 (10.1.10.1) 61.156 ms * * * * 55.497 ms 54.370 ms * * *
編輯 5/6 回复:此 ISP 和調製解調器的正常行為在不同的客戶站點,相同的調製解調器硬體連接到 65 美元的 EdgeRouter X,我從路由器看到,正常:
--- 10.1.10.1 ping statistics --- 60 packets transmitted, 60 received, 0% packet loss, time 59398ms rtt min/avg/max/mdev = 0.278/1.201/2.175/0.554 ms
同樣,在第二個站點發送了 100 個 traceroute UDP 數據包後,最慢的是 3.3 毫秒。
(編輯 6/6 回复:一般情況下可能正常)在任何調製解調器和路由器之間,在與多家供應商合作的低端和高端寬頻工作中,我從未見過這種延遲模式。我沒有打折 Sophos 方面;當我可以通過直接連接到不同設備的情況下到達現場時,我會報告。
在 Sophos 上,沒有數據包錯誤:
router:/var/log# ifconfig eth1 eth1 Link encap:Ethernet HWaddr 7C:xx:xx:xx:xx:94 inet addr:96.xx.xx.129 Bcast:96.xx.xx.135 Mask:255.255.255.248 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:300119356 errors:0 dropped:0 overruns:0 frame:0 TX packets:243077712 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:264200277517 (251961.0 Mb) TX bytes:197347533783 (188205.2 Mb)
在 eth0 上,Sophos 以典型的 0.1-0.2ms 非常穩定的延遲 ping 區域網路上的伺服器。
router:/# ping 192.168.1.5 PING 192.168.1.5 (192.168.1.5) 56(84) bytes of data. 64 bytes from 192.168.1.5: icmp_seq=1 ttl=128 time=0.198 ms 64 bytes from 192.168.1.5: icmp_seq=2 ttl=128 time=0.128 ms
Sophos 上根本沒有載入(CPU 或記憶體或磁碟),日誌中也沒有任何異常,
dmesg
. .
lshw
報告:*-network:1 description: Ethernet interface product: Ethernet Connection X553 1GbE vendor: Intel Corporation physical id: 0.1 bus info: pci@0000:0b:00.1 logical name: eth1 version: 11 serial: 7c:xx:xx:xx:xx:94 size: 1Gbit/s capacity: 1Gbit/s width: 64 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt-fd 100bt-fd 1000bt-fd autonegotiation configuration: autonegotiation=on broadcast=yes driver=ixgbe driverversion=5.2.4 duplex=full firmware=0x80000878 ip=96.86.73.129 latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s resources: irq:17 memory:dfa00000-dfbfffff memory:dfe00000-dfe03fff memory:dc500000-dc57ffff
在搜尋 90 天的日誌時,調製解調器幾乎沒有任何報告。只限今天:
FW.WANATTACK DROP , 34 Attempts, 2020/6/16 15:58:01 Firewall Blocked
調製解調器上的詳細軟體統計資訊:
eMTA & DOCSIS Software Version: CM DOCSIS Application - Prod_18.1_d31 & MTA Application - Prod_18.1 Software Image Name: CGA4131COM_3.12p12s1_PROD_sey Advanced Services: CGA4131COM Packet Cable: 2.0
正如@Appleoddity 提到的,康卡斯特調製解調器有缺陷。唯一的解決辦法就是把它換掉。這篇連結到他們的社區委員會的文章幫助說服了他們所有的功課都已經完成。因此,沒有異議、成本或延遲。封閉系統牢騷牢騷。技術人員以前從未見過這個問題。