Linux

當在網路 A 上配置 eth4 時，Ubuntu 在 eth0 上忽略來自網路 A 的數據包

  • April 22, 2012

我有一個帶有兩個已配置網路介面的 Ubuntu 12.04（最終測試版，最新）伺服器：

root@mac:/home/sysadm# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:1e:4f:28:fd:7b
         inet addr:172.18.8.10  Bcast:172.18.8.255  Mask:255.255.255.0
         inet6 addr: fe80::21e:4fff:fe28:fd7b/64 Scope:Link
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         RX packets:3362 errors:0 dropped:0 overruns:0 frame:0
         TX packets:8561 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:273506 (273.5 KB)  TX bytes:3174766 (3.1 MB)
         Interrupt:38 Memory:dc000000-dc012800

eth4      Link encap:Ethernet  HWaddr 00:02:c9:09:a4:c8
         inet addr:xxx.yy.4.235  Bcast:xxx.yy.5.255  Mask:255.255.254.0
         inet6 addr: fe80::202:c9ff:fe09:a4c8/64 Scope:Link
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         RX packets:59277 errors:0 dropped:52 overruns:0 frame:0
         TX packets:34 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:5138237 (5.1 MB)  TX bytes:6462 (6.4 KB)

lo        Link encap:Local Loopback
         inet addr:127.0.0.1  Mask:255.0.0.0
         inet6 addr: ::1/128 Scope:Host
         UP LOOPBACK RUNNING  MTU:16436  Metric:1
         RX packets:1412 errors:0 dropped:0 overruns:0 frame:0
         TX packets:1412 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:107356 (107.3 KB)  TX bytes:107356 (107.3 KB)

root@mac:/home/sysadm# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.18.8.254    0.0.0.0         UG    100    0        0 eth0
xxx.yy.4.0      0.0.0.0         255.255.254.0   U     0      0        0 eth4
172.18.8.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0

如您所見，eth0 位於 172.18.8.0/24 網路（“8-net”）上，eth4 位於 xxx.yy.4.0/23 網路（“4-net”）上。這兩個網路都通過路由器連接。許多機器都在兩個網路上（一次一個），並且能夠毫無問題地進行通信。當 4-net 上的第二台機器嘗試與 172.18.8.10 通信時，數據包似乎被丟棄了。SSH 嘗試的 tcpdump 如下：

root@mac:/home/sysadm# ufw allow from any to any port 1022
Rule added
Rule added (v6)
root@mac:/home/sysadm# sshd -de -p 1022
sshd re-exec requires execution with an absolute path
root@mac:/home/sysadm# which sshd
/usr/sbin/sshd
root@mac:/home/sysadm# /usr/sbin/sshd -de -p 1022
debug1: sshd version OpenSSH_5.9p1 Debian-5ubuntu1
debug1: read PEM private key done: type RSA
debug1: Checking blacklist file /usr/share/ssh/blacklist.RSA-2048
debug1: Checking blacklist file /etc/ssh/blacklist.RSA-2048
debug1: private host key: #0 type 1 RSA
debug1: read PEM private key done: type DSA
debug1: Checking blacklist file /usr/share/ssh/blacklist.DSA-1024
debug1: Checking blacklist file /etc/ssh/blacklist.DSA-1024
debug1: private host key: #1 type 2 DSA
debug1: read PEM private key done: type ECDSA
debug1: Checking blacklist file /usr/share/ssh/blacklist.ECDSA-256
debug1: Checking blacklist file /etc/ssh/blacklist.ECDSA-256
debug1: private host key: #2 type 3 ECDSA
debug1: rexec_argv[0]='/usr/sbin/sshd'
debug1: rexec_argv[1]='-de'
debug1: rexec_argv[2]='-p'
debug1: rexec_argv[3]='1022'
Set /proc/self/oom_score_adj from 0 to -1000
debug1: Bind to port 1022 on 0.0.0.0.
Server listening on 0.0.0.0 port 1022.
debug1: Bind to port 1022 on ::.
Server listening on :: port 1022.
^Z
[1]+  Stopped                 /usr/sbin/sshd -de -p 1022
root@mac:/home/sysadm# bg
[1]+ /usr/sbin/sshd -de -p 1022 &
root@mac:/home/sysadm# tcpdump -nvlli eth0 'host xxx.yy.4.29'
tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
18:16:33.370081 IP (tos 0x0, ttl 63, id 29087, offset 0, flags [DF], proto TCP (6), length 60)
   xxx.yy.4.29.42667 > 172.18.8.10.1022: Flags [S], cksum 0xdc29 (correct), seq 107513294, win 14600, options [mss 1460,sackOK,TS val 3473994833 ecr 0,nop,wscale 7], length 0
18:16:36.369860 IP (tos 0x0, ttl 63, id 29088, offset 0, flags [DF], proto TCP (6), length 60)
   xxx.yy.4.29.42667 > 172.18.8.10.1022: Flags [S], cksum 0xd071 (correct), seq 107513294, win 14600, options [mss 1460,sackOK,TS val 3473997833 ecr 0,nop,wscale 7], length 0
18:16:42.369300 IP (tos 0x0, ttl 63, id 29089, offset 0, flags [DF], proto TCP (6), length 60)
   xxx.yy.4.29.42667 > 172.18.8.10.1022: Flags [S], cksum 0xb901 (correct), seq 107513294, win 14600, options [mss 1460,sackOK,TS val 3474003833 ecr 0,nop,wscale 7], length 0

為了完整性：

root@mac:/home/sysadm# ufw status
Status: active

To                         Action      From
--                         ------      ----
22                         ALLOW       Anywhere
1022                       ALLOW       Anywhere
22                         ALLOW       Anywhere (v6)
1022                       ALLOW       Anywhere (v6)

建立連接的節點遇到超時。其他協議也受到影響。Echo 請求超時。然而，8-net 和所有其他非 4-net 網路上的節點能夠完美地通信。日誌不顯示任何內容。/var/log/syslog 中存在其他“UFW BLOCK”條目，但不存在相關條目。

簡而言之，一台機器有兩個介面，網路 8 上的 eth0 和網路 4 上的 eth4。網路 4 中的其他節點無法與 eth0 通信，但所有其他網路中的節點都可以。邏輯上的相反也適用：嘗試與 eth4 通信的網路 8 個節點遇到超時。這是功能還是錯誤？我是否應該不期望能夠在具有兩個介面的機器上與邏輯錯誤的介面進行通信？

如果重要，這是戴爾 PowerEdge R900。eth0 是集成埠“NetXtreme II BCM5708 Gigabit Ethernet”，eth4 是附加卡“MT26448”上的兩個埠之一

$$ ConnectX EN 10GigE, PCIe 2.0 5GT/s $$“由 Mellanox 技術公司提供。 **編輯：**禁用防火牆時問題仍然存在。tcpdump 仍然顯示傳入的數據包（回應要求）而沒有發出響應。

**編輯：**更多輸出：這是涉及遠端主機 ‘xxx.yy.4.29’ 的 eth4 流量轉儲。從 xxx.yy.4.29，我 ping 了 172.18.8.10 和 xxx.yy.4.235。這是輸出。

root@mac:/home/sysadm# tcpdump -nvlli eth4 'host xxx.yy.4.29'
tcpdump: listening on eth4, link-type EN10MB (Ethernet), capture size 65535 bytes
20:25:04.401449 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has xxx.yy.4.235 tell xxx.yy.4.29, length 46
20:25:04.401492 ARP, Ethernet (len 6), IPv4 (len 4), Reply xxx.yy.4.235 is-at 00:02:c9:09:a4:c8, length 28
20:25:04.401647 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP (1), length 84)
   xxx.yy.4.29 > xxx.yy.4.235: ICMP echo request, id 32312, seq 1, length 64
20:25:04.401706 IP (tos 0x0, ttl 64, id 42264, offset 0, flags [none], proto ICMP (1), length 84)
   xxx.yy.4.235 > xxx.yy.4.29: ICMP echo reply, id 32312, seq 1, length 64
20:25:05.401200 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP (1), length 84)
   xxx.yy.4.29 > xxx.yy.4.235: ICMP echo request, id 32312, seq 2, length 64
20:25:05.401211 IP (tos 0x0, ttl 64, id 42265, offset 0, flags [none], proto ICMP (1), length 84)
   xxx.yy.4.235 > xxx.yy.4.29: ICMP echo reply, id 32312, seq 2, length 64
20:25:09.402234 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has xxx.yy.4.29 tell xxx.yy.4.235, length 28
20:25:09.402383 ARP, Ethernet (len 6), IPv4 (len 4), Reply xxx.yy.4.29 is-at 78:2b:cb:90:95:98, length 46
20:25:09.402747 ARP, Ethernet (len 6), IPv4 (len 4), Reply xxx.yy.4.29 is-at 78:2b:cb:90:95:98, length 46

**編輯：**這只是一台測試機器。我無法想像需要通過 4-net 介面路由 8-net 通信的真實場景。我可以看到這將如何成為一個已知問題，其中解決方案的好處不值得為解決問題付出努力。

您可能在這裡看到的是反向路徑過濾。核心正在丟棄數據包，因為它們似乎來自“錯誤”的介面。要檢查 RPF 是否已啟用，請執行cat /proc/sys/net/ipv4/conf/eth0/rp_filter（對於 eth4 類似）。要禁用它，請將 0 回顯到這些文件中。

即使禁用了 RPF，您的路由也會像@NathanG 所說的那樣有點奇怪（響應數據包會從不同於它們進入的介面發出）。如果您的路由器不太聰明（即沒有 RPF 或其他欺騙保護），這應該仍然有效。

您需要正確設置的是一些基於源地址的策略路由（即告訴核心根據源地址以不同的方式路由數據包）。我們通過設置多個路由表，然後添加一些規則來選擇使用哪個表來做到這一點。

首先，命名一些表（您只需要這樣做一次）。

echo "14 net4" >> /etc/iproute2/rt_tables
echo "18 net8" >> /etc/iproute2/rt_tables

然後將路由添加到這些新表（我假設這台機器可以通過 eth0 或 eth4 上的路由器訪問 Internet）。

ip route add xx.yy.4.0/23 dev eth4 table net4
ip route add default via xx.yy.4.1 table net4
ip route add 172.18.8.0/24 dev eth0 table net8
ip route add default via 172.18.8.254 table net8

最後添加一些規則，根據數據包的源地址選擇合適的表。

ip rule add from xx.yy.4.0/23 lookup net4
ip rule add from 172.18.8.0/24 lookup net8

引用自：https://serverfault.com/questions/381894

相關問答

Linux

將 PC 連接到網路並直接連接到伺服器

  • June 19, 2020
檢視問答
Linux

最大化多隊列 NIC 上的 Linux 網路性能

  • June 7, 2020
檢視問答
Linux

如何在任何介面的網路範圍之外擁有一個預設網關？

  • January 10, 2020
檢視問答
Linux

如何通過另一台伺服器路由流量？

  • December 2, 2019
檢視問答
Linux

如何在linux中設置兩條預設路由

  • June 29, 2018
檢視問答
Linux

一個網卡上有兩個ip地址

  • July 26, 2017
檢視問答