Router

企業級硬體上直接千兆乙太網鏈路的高 ping 延遲

  • July 2, 2020

最終編輯 7/7多個電纜、埠和設備替換已將範圍縮小到 Comcast 調製解調器及其所有 8 個乙太網埠。鑑於,正如評論所說,這是一個封閉的設備,不太可能獲得太多真實資訊,我們可能永遠不會發現,但我仍然會發布決議作為答案。

編輯 1/6 動機;潛在的實際問題)基於使用者對電話會議問題的投訴,我想消除所有可能的原因。在驗證了從筆記型電腦到伺服器的完美 LAN 和 WiFi 連接,然後看到非常不均勻的端到端 ping 延遲——通常遠高於建議的 100 毫秒限制——按照此處的指示,使用 Google Meet 伺服器,我回溯到延遲的來源。(當然,這不一定是 Google Meet 延遲的根本原因,但我需要將其排除為可能的原因。)

事實證明,不均勻和高延遲來自 Sophos UTM 9 SG125(韌體:9.703-3)與 Comcast CGA4341COM 千兆調製解調器(製造商:Technicolor;硬體版本:2.3;晶片組:Broadcom)之間的直接連結。

鏈路兩端都報告千兆連接。Speedtest 可speedtest.xfinity.com通過硬連線的區域網路伺服器提供 400Mbps 範圍的結果。(編輯 2/6 問題的附加證據這似乎很好,除了當同一伺服器直接連接到調製解調器時,完全切斷路由器和 LAN 的其餘部分,吞吐量為 930Mbps。)

在 Sophos 上使用 10 英尺 Cat5e 電纜直接連接調製解調器的 SSH cmd 線路上進行長時間測試後:

—— xx.xx.xx.134 ping statistics ---
756 packets transmitted, 756 received, 0% packet loss, time 755277ms
rtt min/avg/max/mdev = 0.162/21.789/199.543/34.605 ms

長長的 ping 非常密集地穿插:

64 bytes from xx.xx.xx.134: icmp_seq=1 ttl=64 time=58.2 ms
64 bytes from xx.xx.xx.134: icmp_seq=2 ttl=64 time=0.645 ms
64 bytes from xx.xx.xx.134: icmp_seq=3 ttl=64 time=72.4 ms

整天嘗試這個沒有任何改變。調製解調器的所有無關功能都被禁用:埠轉發、埠觸發、防火牆、MAC 訪問控制、dhcp、wifi 等。

編輯 3/6 回复:可能導致延遲的流量負載)這也發生在半夜,因此與流量無關。當鏈路使用率低於 1% 時,儘管 ping 可能不准確,但優先級不應該發揮作用。

編輯 4/6 回复:ICMP 的可能低優先級traceroute,使用 UDP,顯示相同的延遲模式:

traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
1  10.1.10.1 (10.1.10.1)  71.784 ms   70.684 ms * * *   66.310 ms * * * *
traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
1  10.1.10.1 (10.1.10.1)  1.218 ms   1.151 ms * * * * * * * *
traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
1  10.1.10.1 (10.1.10.1)  61.156 ms * * * *   55.497 ms   54.370 ms * * *

編輯 5/6 回复:此 ISP 和調製解調器的正常行為在不同的客戶站點,相同的調製解調器硬體連接到 65 美元的 EdgeRouter X,我從路由器看到,正常:

--- 10.1.10.1 ping statistics ---
60 packets transmitted, 60 received, 0% packet loss, time 59398ms
rtt min/avg/max/mdev = 0.278/1.201/2.175/0.554 ms

同樣,在第二個站點發送了 100 個 traceroute UDP 數據包後,最慢的是 3.3 毫秒。

編輯 6/6 回复:一般情況下可能正常)在任何調製解調器和路由器之間,在與多家供應商合作的低端和高端寬頻工作中,我從未見過這種延遲模式。我沒有打折 Sophos 方面;當我可以通過直接連接到不同設備的情況下到達現場時,我會報告。

在 Sophos 上,沒有數據包錯誤:

router:/var/log# ifconfig eth1
eth1      Link encap:Ethernet  HWaddr 7C:xx:xx:xx:xx:94  
         inet addr:96.xx.xx.129  Bcast:96.xx.xx.135  Mask:255.255.255.248
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         RX packets:300119356 errors:0 dropped:0 overruns:0 frame:0
         TX packets:243077712 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:1000 
         RX bytes:264200277517 (251961.0 Mb)  TX bytes:197347533783 (188205.2 Mb)

在 eth0 上,Sophos 以典型的 0.1-0.2ms 非常穩定的延遲 ping 區域網路上的伺服器。

router:/# ping 192.168.1.5
PING 192.168.1.5 (192.168.1.5) 56(84) bytes of data.
64 bytes from 192.168.1.5: icmp_seq=1 ttl=128 time=0.198 ms
64 bytes from 192.168.1.5: icmp_seq=2 ttl=128 time=0.128 ms

Sophos 上根本沒有載入(CPU 或記憶體或磁碟),日誌中也沒有任何異常,dmesg. .

lshw報告:

     *-network:1
           description: Ethernet interface
           product: Ethernet Connection X553 1GbE
           vendor: Intel Corporation
           physical id: 0.1
           bus info: pci@0000:0b:00.1
           logical name: eth1
           version: 11
           serial: 7c:xx:xx:xx:xx:94
           size: 1Gbit/s
           capacity: 1Gbit/s
           width: 64 bits
           clock: 33MHz
           capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt-fd 100bt-fd 1000bt-fd autonegotiation
           configuration: autonegotiation=on broadcast=yes driver=ixgbe driverversion=5.2.4 duplex=full firmware=0x80000878 ip=96.86.73.129 latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s
           resources: irq:17 memory:dfa00000-dfbfffff memory:dfe00000-dfe03fff memory:dc500000-dc57ffff

在搜尋 90 天的日誌時,調製解調器幾乎沒有任何報告。只限今天:

FW.WANATTACK DROP , 34 Attempts, 2020/6/16 15:58:01
Firewall Blocked

調製解調器上的詳細軟體統計資訊:

eMTA & DOCSIS Software Version: CM DOCSIS Application - Prod_18.1_d31 & MTA Application - Prod_18.1
Software Image Name: CGA4131COM_3.12p12s1_PROD_sey
Advanced Services: CGA4131COM
Packet Cable: 2.0

正如@Appleoddity 提到的,康卡斯特調製解調器有缺陷。唯一的解決辦法就是把它換掉。這篇連結到他們的社區委員會的文章幫助說服了他們所有的功課都已經完成。因此,沒有異議、成本或延遲。封閉系統牢騷牢騷。技術人員以前從未見過這個問題。

引用自:https://serverfault.com/questions/1021775