Dell-Poweredge

單個 HDD 驅動器上的 Iowait 減慢/阻止 DELL R620 w/PERC H310 Mini Mono 控制器上所有其他 (SSD) 驅動器上的操作

  • November 4, 2019

由於戴爾論壇是一場名副其實的災難,我在這裡嘗試以防有人在這裡給我一些提示:)

我們有一個帶有 3 個驅動器的系統:

  1. 作業系統的 SSD
  2. 包含支持 LXD 容器的 ZFS 池的 SSD
  3. “備份”儲存硬碟驅動器

該系統正在執行 Ubuntu Bionic。

現在這些區域都以非 RAID 配置連接到 PERC 控制器。伺服器上的所有韌體都是最新的。

我們看到的是,當我們使用 rsync 或 ftp 從遠端網路儲存將數據流式傳輸到 HDD 驅動器時,對 HDD 驅動器的寫入操作會降低整個系統的速度

就好像 HDD 驅動器上的高 IOwait 會阻止 SSD 驅動器上的 IO 操作。這對我來說是非常違反直覺的。

為什麼對 HDD 驅動器的寫入操作會導致整個系統鎖定並減慢 SSD 驅動器的訪問時間?是控制器出了問題,還是 Linux 核心中有一些旋鈕可以在這裡轉動?

我是否通過將 HDD 驅動器與我的 SSD 驅動器混合在一起而在腳上開槍?:)

@sfk 的評論應該是問題的答案。

共享 I/O 隊列/緩衝絕對是這裡問題的原因。

您可以使用 LSI 9211-8i 韌體將卡交叉快閃記憶體到“IT”模式,或者如果您不想快閃記憶體 PERC,則只需線上購買 LSI 9207-8i(它們現在非常實惠)。只要確保事先對磁碟上的所有內容進行完整備份,您需要從中恢復 - PERC 上的“非 RAID”磁碟仍然具有 RAID 虛擬磁碟配置,並且不會在非 RAID 磁碟上正常顯示。 RAID 卡(像 IT 模式下的這個)。

編輯:您可能會考慮作為解決方法的另一個選項是找到一種方法來限制發送到該磁碟設備的 I/O(朝著您提到的“旋鈕”轉動的方向)。我在這裡看到了一些想法/選項,例如 cgroups 和 ionice,但不完全確定哪個適合您。任何可能導致對該磁碟的寫入僅以低於磁碟實際處理速度的速度“發出”的情況都可能是有益的,這樣 I/O 就不會排隊,直到 HBA 的 IO 隊列被填滿。

引用自:https://serverfault.com/questions/990398