Nfs

vSphere ESX 5.5 主機無法連接到 NFS 伺服器

  • March 13, 2021

摘要: 我的問題是我無法將 QNAP NFS 伺服器用作 ESX 主機的 NFS 數據儲存,儘管主機能夠 ping 它。我正在為我的所有網路流量(包括 NFS)和每個 vmkernel 適配器的子網使用帶有 LACP 上行鏈路的 vDS。

設置: 我正在評估 vSphere,我有兩台 vSphere ESX 5.5 主機(node1 和 node2),每台都有 4 個 NIC。我已經使用 LACP/802.3ad 和我的交換機將它們組合在一起,然後在兩台主機之間創建了一個分佈式交換機,每個主機的 LAG 作為上行鏈路。我所有的網路都通過分佈式交換機,理想情況下,我想利用 DRS 和冗餘。我有一個域控制器 VM(“Central”)和 vCenter VM(“vCenter”)在 node1 上執行(使用 node1 的本地數據儲存),兩個主機都連接到 vCenter 實例。兩台主機都位於 vCenter 數據中心和目前禁用 HA 和 DRS 的群集中。我有一個

QNAP TS-669 Pro(版本 4.0.3)(TS-x69 系列在 VMware Storage HCL 上)我想用作 NFS 數據儲存的 NFS 伺服器,它有 2 個 NIC 使用 802.3ad 與我的交換機組合在一起。

vmkernel.log: 來自主機的 vmkernel.log 的錯誤不是很有用:

NFS: 157: Command: (mount) Server: (10.1.2.100) IP: (10.1.2.100) Path: (/VM) Label (datastoreNAS) Options: (None) cpu9:67402)StorageApdHandler: 698: APD Handle 509bc29f-13556457 Created with lock[StorageApd0x411121]
cpu10:67402)StorageApdHandler: 745: Freeing APD Handle [509bc29f-13556457]
cpu10:67402)StorageApdHandler: 808: APD Handle freed!
cpu10:67402)NFS: 168: NFS mount 10.1.2.100:/VM failed: Unable to connect to NFS server.

網路設置: 這是我的分佈式交換機設置 (JPG)。 這是我的網路。

  • 10.1.1.0/24 虛擬機管理(VLAN 11)
  • 10.1.2.0/24 儲存網路(NFS,VLAN 12)
  • 10.1.3.0/24 VM vMotion (VLAN 13)
  • 10.1.4.0/24 VM 容錯 (VLAN 14)
  • 10.2.0.0/24 虛擬機的網路 (VLAN 20)

vSphere 地址

  • 10.1.1.1 node1管理
  • 10.1.1.2 node2管理
  • 10.1.2.1 node1 vmkernel(用於 NFS)
  • 10.1.2.2 node2 vmkernel(用於 NFS)
  • 等等

其他地址

  • 10.1.2.100 QNAP TS-669(NFS 伺服器)
  • 10.2.0.1 域控制器(node1 上的虛擬機)
  • 10.2.0.2 vCenter(節點 1 上的虛擬機)

我正在使用具有以下設置的 Cisco SRW2024P 第 2 層交換機(啟用巨型幀):

  • 節點 1(埠 1 到 4)的 LACP LAG1 設置為 VLAN 11-14,20 的 VLAN 中繼
  • 我的路由器(埠 5 到 8)的 LACP LAG2 設置為 VLAN 11-14,20 的 VLAN 中繼
  • 用於節點 2(埠 9 到 12)的 LACP LAG3 設置為 VLAN 11-14,20 的 VLAN 中繼
  • LACP LAG4 用於 QNAP(埠 23 和 24)設置,以接受進入 VLAN 12 的未標記流量

每個子網都可以路由到另一個子網,但是從 vmk1 到 NFS 伺服器的連接不需要它。所有其他流量(vSphere Web Client、RDP 等)都通過此設置正常。我事先使用 ESX 主機 VM 在具有專用物理 NIC 的 VMware Workstation 設置上測試了 QNAP NFS 伺服器,它沒有任何問題。

NFS 伺服器共享上的 ACL 是許可的,並允許所有子網範圍完全訪問該共享。

我可以從 node1 vmk1 ping QNAP,該適配器應該用於 NFS:

~ # vmkping -I vmk1 10.1.2.100
PING 10.1.2.100 (10.1.2.100): 56 data bytes
64 bytes from 10.1.2.100: icmp_seq=0 ttl=64 time=0.371 ms
64 bytes from 10.1.2.100: icmp_seq=1 ttl=64 time=0.161 ms
64 bytes from 10.1.2.100: icmp_seq=2 ttl=64 time=0.241 ms

Netcat不會拋出錯誤:

~ # nc -z 10.1.2.100 2049
Connection to 10.1.2.100 2049 port [tcp/nfs] succeeded!

node1的路由表

~ # esxcfg-route -l
VMkernel Routes:
Network          Netmask          Gateway          Interface
10.1.1.0         255.255.255.0    Local Subnet     vmk0
10.1.2.0         255.255.255.0    Local Subnet     vmk1
10.1.3.0         255.255.255.0    Local Subnet     vmk2
10.1.4.0         255.255.255.0    Local Subnet     vmk3
default          0.0.0.0          10.1.1.254       vmk0

虛擬機核心網卡資訊

~ # esxcfg-vmknic -l
Interface  Port Group/DVPort   IP Family IP Address                              Netmask         Broadcast       MAC Address       MTU     TSO MSS   Enabled Type       
vmk0       133                 IPv4      10.1.1.1                                255.255.255.0   10.1.1.255      00:50:56:66:8e:5f 1500    65535     true    STATIC     
vmk0       133                 IPv6      fe80::250:56ff:fe66:8e5f                64                              00:50:56:66:8e:5f 1500    65535     true    STATIC, PREFERRED
vmk1       164                 IPv4      10.1.2.1                                255.255.255.0   10.1.2.255      00:50:56:68:f5:1f 1500    65535     true    STATIC     
vmk1       164                 IPv6      fe80::250:56ff:fe68:f51f                64                              00:50:56:68:f5:1f 1500    65535     true    STATIC, PREFERRED
vmk2       196                 IPv4      10.1.3.1                                255.255.255.0   10.1.3.255      00:50:56:66:18:95 1500    65535     true    STATIC     
vmk2       196                 IPv6      fe80::250:56ff:fe66:1895                64                              00:50:56:66:18:95 1500    65535     true    STATIC, PREFERRED
vmk3       228                 IPv4      10.1.4.1                                255.255.255.0   10.1.4.255      00:50:56:72:e6:ca 1500    65535     true    STATIC     
vmk3       228                 IPv6      fe80::250:56ff:fe72:e6ca                64                              00:50:56:72:e6:ca 1500    65535     true    STATIC, PREFERRED

我嘗試過/檢查過的事情:

  • 我沒有使用 DNS 名稱連接到 NFS 伺服器。
  • 已檢查 MTU。對於 vmk1、dvSwitch 和 Cisco 交換機以及 QNAP,設置為 9000。
  • 將 QNAP 移動到 VLAN 11(VM 管理,vmk0)並給它一個適當的地址,仍然有同樣的問題。當然後來改回來了。
  • 嘗試從 vSphere Client(連接到 vCenter 或直接連接到主機)、vSphere Web Client 和主機的 ESX Shell 啟動 NAS 數據儲存連接。都導致了同樣的問題。
  • 儘管甚至沒有連接到伺服器,但嘗試了“VM”、“/VM”和“/share/VM”的路徑名。
  • 我將一個 linux 系統 (10.1.2.123) 插入為 VLAN 12 配置的交換機埠並嘗試安裝 NFS 共享 10.1.2.100:/VM,它成功執行並且我可以對其進行讀寫訪問
  • 我嘗試禁用 ESX 主機上的防火牆esxcli network firewall set --enabled false

我不知道下一步該嘗試什麼。我所做的與我的 VMware Workstation 設置不同的事情是在兩台主機之間使用 LACP 和物理交換機和虛擬分佈式交換機。我猜vDS可能是我麻煩的根源,但我不知道如何在不消除它的情況下解決這個問題。

嗯… vDS、NFS 和 LACP 對我來說非常有用。但是,您似乎已經深入了解了一組高端 vSphere 功能。大多數安裝並不真正需要 LACP,但我可以理解嘗試使用它的吸引力……

如果 QNAP 不允許掛載,則 vDS 和其他功能都無關緊要…

  • 您已經驗證了與 的連接vmkping,但可能應該使用巨型 MTU 進行嘗試:(vmkping -s 9000 10.1.2.100無需指定介面)。確保有效。
  • 我暫時完全禁用 QNAP ACL。
  • 您的掛載路徑名稱可能應該是ip.address:/share/VM/
  • 嘗試再次掛載,但請注意/var/log/vobd.logESXi 主機上的消息。如果它顯示類似“ NFS 伺服器拒絕掛載請求。 ”,則問題出在 QNAP。
  • **很抱歉,我們缺少您的物理交換機類型/型號和配置…**您能描述一下嗎?您應該在相關埠上具有中繼 VLAN+LACP 配置。

您的 vDS 配置螢幕截圖看起來像是一個主機的資訊價值。驗證您的配置是否設置了 LACP 和正確的負載平衡模式。它應該如下所示:

在此處輸入圖像描述

在此處輸入圖像描述

昨天在 TS-420U 和 ESXi 5.5 U1 上遇到了同樣的問題。 我的設置:

  • 兩個帶有 vCenter 伺服器的 ESXi 5.5 - 直接連接儲存 - QNAP TS-420U NAS 與 ESXi 主機在同一子網上(所以沒有路由問題) - 都在子網 10.207.253.128/26

配置 NAS 後,我將 ACL 設置為適當的子網 (10.207.253.*) 並連接沒有問題。但是在重新啟動 ESXi 主機後,不再連接,和你一樣的錯誤。NAS 重新啟動和關閉/打開 NFS 服務沒有幫助。我嘗試的最後一件事是將 NAS 伺服器上的 ACL 設置為 * -> 繁榮,它再次工作。兩台 ESXi 主機都可以毫無問題地連接到 NFS 共享。

現在我只需要找出,為什麼 ESXi 主機無法使用設置為子網的 ACL 連接…

引用自:https://serverfault.com/questions/569812