Linux

Linux Software Raid 5 上的 mkfs 操作需要很長時間

  • August 19, 2020

我設置了一個由 4 * 2 TB 磁碟組成的 Linux 軟體 raid 級別 5。磁碟陣列是使用 64k 條帶大小創建的,沒有其他配置參數。在最初的重建之後,我嘗試創建一個文件系統,這一步需要很長時間(大約半小時或更長時間)。我嘗試創建一個 xfs 和 ext3 文件系統,都花了很長時間,使用 mkfs.ext3 我觀察到以下行為,這可能會有所幫助:

  • 寫入inode表執行速度很快,直到達到1053(~1秒),然後它寫入大約50,等待兩秒,然後寫入接下來的50(根據控制台顯示)
  • 當我嘗試使用 Control+C 取消操作時,它會掛起半分鐘,然後才真正取消

單個磁碟的性能非常好,我分別在每個磁碟上執行了 bonnie++,寫入/讀取值約為 95 / 110MB/s。即使我在每個驅動器上並行執行 bonnie++,這些值也只會減少大約 10 MB。所以我一般將硬體/I/O 調度排除在問題來源之外。

我為 stripe_cache_size 和 readahead size 嘗試了不同的配置參數,但沒有成功,但我認為它們與文件系統創建操作無關。

伺服器詳情:

  • Linux 伺服器 2.6.35-27-generic #48-Ubuntu SMP x86_64 GNU/Linux
  • mdadm - v2.6.7.1

有人對如何進一步調試有任何建議嗎?

我同意,這可能與條帶對齊有關。根據我的經驗,在 3*2TB RAID-0 上創建未對齊的 XFS 需要約 5 分鐘,但如果它與條帶大小對齊,則需要約 10-15 秒。這是將 XFS 對齊到 256KB 條帶大小的命令:

mkfs.xfs -l internal,lazy-count=1,sunit=512 -d agsize=64g,sunit=512,swidth=1536 -b size=4096 /dev/vg10/lv00

順便說一句,在我的情況下,條頻寬度是 3 個單位,這對於您使用 4 個驅動器但在 raid-5 中是相同的。

顯然,這也提高了 FS 性能,因此您最好保持對齊。

引用自:https://serverfault.com/questions/249521