Raid

在 2 個 ADAPT(類似 RAID6)卷上確認 XFS 文件系統和 LVM 卷條帶化的參數

  • July 16, 2020

我們正在為文件伺服器設置 ADAPT0(類似 RAID-60)配置。

我們有六個磁碟池。每個由 14 個磁碟組成,並使用 ADAPT 進行設置。根據戴爾的官方白皮書,ADAPT 與 RAID 6 類似,但分配的是備用容量。在第 13 頁上,指示每個磁碟池的塊大小為 512 KiB,條頻寬度為 4 MiB(超過 8 個磁碟)。

我的理解是,對於每 14 個磁碟池,保留 2 個磁碟容量作為備用磁碟,剩餘 12 個磁碟(2.4 個磁碟容量)的 20% 用於奇偶校驗,80%(9.6 個磁碟)用於儲存。但是,塊大小為 512 KiB,條頻寬度仍為 4MiB,因為我們只在一個連續塊中寫入 8 個磁碟。

為了實現 ADAPT0(類似 RAID-60)配置,我們隨後創建了一個邏輯卷,該卷使用 LVM 在兩個磁碟池上進行條帶化。我們的意圖是最終擁有 3 個條帶捲,每個卷在兩個磁碟池上進行條帶化。我們使用了與硬體 RAID (512 KiB) 相匹配的條帶大小:

$ vgcreate vg-gw /dev/sda /dev/sdb
$ lvcreate -y --type striped -L 10T -i 2 -I 512k -n vol vg-gw

接下來,在條帶化邏輯卷上設置 XFS 文件系統。根據XFS.org和其他一些來源的指南,我們將條帶單元su與 LVM 和 RAID 條帶大小 (512k) 進行匹配,並將條頻寬度設置sw為 16,因為我們有 16 個“數據磁碟”。

$ mkfs.xfs -f -d su=512k,sw=16 -l su=256k /dev/mapper/vg--gw-vol
$ mkdir -p /vol/vol
$ mount -o rw -t xfs /dev/mapper/vg--gw-vol /vol/vol

我們對 4KiB 塊大小的順序 I/O 性能進行了基準測試/dev/sda/dev/sdb/dev/mapped/vg--gw-vol使用

fio --name=test --ioengine=posixaio --rw=rw --bs=4k --numjobs=1 --size=256g --iodepth=1 --runtime=300 --time_based --end_fsync=1

我們驚訝地獲得了類似的表現:

      Volumes         Throughput   Latency
---------------------  ----------  ----------
/dev/sda                198MiB/s    9.50 usec
/dev/sdb                188MiB/s   10.11 usec
/dev/mapped/vg--gw-vol  209MiB/s    9.06 usec

如果我們使用 I/O 監控工具bwm-ng,我們可以看到兩者的 I/O/dev/sda以及/dev/sdb寫入時的I/O /dev/mapped/vg--gw-vol

我們是否正確配置?進一步來說:

(1) 將 LVM 條帶大小與硬體 RAID (512 KiB) 的大小對齊是否正確?

(2) 對齊 XFS 條帶單元和寬度是否正確(512 KiB 條帶大小和 16 個數據磁碟),或者我們應該“抽象”底層卷(4 MiB 條帶大小和 2 個數據磁碟)?

(3) 更令人困惑的是這裡塊設備的自我報告輸出:

$ grep "" /sys/block/sda/queue/*_size
/sys/block/sda/queue/hw_sector_size:512
/sys/block/sda/queue/logical_block_size:512
/sys/block/sda/queue/max_segment_size:65536
/sys/block/sda/queue/minimum_io_size:4096
/sys/block/sda/queue/optimal_io_size:1048576
/sys/block/sda/queue/physical_block_size:4096

謝謝!

我會避免在 ADAPT 之上插入 RAID0 層。相反,我會創建一個包含兩個陣列的簡單線性 LVM 池,或者,創建一個 28 個磁碟陣列(根本不使用第二個控制器)。

如果兩個陣列的線性 LVM 串聯,XFS 將憑藉其自己的分配組策略(由於文件系統同時向各種 LBA 範圍發出多個 IO)為您提供額外的性能。

但是,由於總備用容量與使用者數據相比,單個 28 磁碟池應提供稍高的空間效率。

關於 XFS 選項,您應該su=512k,sw=8基於 ADAPT 佈局使用。無論如何,對於配備大功率損耗保護寫記憶體的高端控制器,這應該有輕微的影響。

引用自:https://serverfault.com/questions/1025254