在 2 個 ADAPT(類似 RAID6)卷上確認 XFS 文件系統和 LVM 卷條帶化的參數
我們正在為文件伺服器設置 ADAPT0(類似 RAID-60)配置。
我們有六個磁碟池。每個由 14 個磁碟組成,並使用 ADAPT 進行設置。根據戴爾的官方白皮書,ADAPT 與 RAID 6 類似,但分配的是備用容量。在第 13 頁上,指示每個磁碟池的塊大小為 512 KiB,條頻寬度為 4 MiB(超過 8 個磁碟)。
我的理解是,對於每 14 個磁碟池,保留 2 個磁碟容量作為備用磁碟,剩餘 12 個磁碟(2.4 個磁碟容量)的 20% 用於奇偶校驗,80%(9.6 個磁碟)用於儲存。但是,塊大小為 512 KiB,條頻寬度仍為 4MiB,因為我們只在一個連續塊中寫入 8 個磁碟。
為了實現 ADAPT0(類似 RAID-60)配置,我們隨後創建了一個邏輯卷,該卷使用 LVM 在兩個磁碟池上進行條帶化。我們的意圖是最終擁有 3 個條帶捲,每個卷在兩個磁碟池上進行條帶化。我們使用了與硬體 RAID (512 KiB) 相匹配的條帶大小:
$ vgcreate vg-gw /dev/sda /dev/sdb $ lvcreate -y --type striped -L 10T -i 2 -I 512k -n vol vg-gw
接下來,在條帶化邏輯卷上設置 XFS 文件系統。根據XFS.org和其他一些來源的指南,我們將條帶單元
su
與 LVM 和 RAID 條帶大小 (512k) 進行匹配,並將條頻寬度設置sw
為 16,因為我們有 16 個“數據磁碟”。$ mkfs.xfs -f -d su=512k,sw=16 -l su=256k /dev/mapper/vg--gw-vol $ mkdir -p /vol/vol $ mount -o rw -t xfs /dev/mapper/vg--gw-vol /vol/vol
我們對 4KiB 塊大小的順序 I/O 性能進行了基準測試
/dev/sda
,/dev/sdb
並/dev/mapped/vg--gw-vol
使用fio --name=test --ioengine=posixaio --rw=rw --bs=4k --numjobs=1 --size=256g --iodepth=1 --runtime=300 --time_based --end_fsync=1
我們驚訝地獲得了類似的表現:
Volumes Throughput Latency --------------------- ---------- ---------- /dev/sda 198MiB/s 9.50 usec /dev/sdb 188MiB/s 10.11 usec /dev/mapped/vg--gw-vol 209MiB/s 9.06 usec
如果我們使用 I/O 監控工具
bwm-ng
,我們可以看到兩者的 I/O/dev/sda
以及/dev/sdb
寫入時的I/O/dev/mapped/vg--gw-vol
。我們是否正確配置?進一步來說:
(1) 將 LVM 條帶大小與硬體 RAID (512 KiB) 的大小對齊是否正確?
(2) 對齊 XFS 條帶單元和寬度是否正確(512 KiB 條帶大小和 16 個數據磁碟),或者我們應該“抽象”底層卷(4 MiB 條帶大小和 2 個數據磁碟)?
(3) 更令人困惑的是這裡塊設備的自我報告輸出:
$ grep "" /sys/block/sda/queue/*_size /sys/block/sda/queue/hw_sector_size:512 /sys/block/sda/queue/logical_block_size:512 /sys/block/sda/queue/max_segment_size:65536 /sys/block/sda/queue/minimum_io_size:4096 /sys/block/sda/queue/optimal_io_size:1048576 /sys/block/sda/queue/physical_block_size:4096
謝謝!
我會避免在 ADAPT 之上插入 RAID0 層。相反,我會創建一個包含兩個陣列的簡單線性 LVM 池,或者,創建一個 28 個磁碟陣列(根本不使用第二個控制器)。
如果兩個陣列的線性 LVM 串聯,XFS 將憑藉其自己的分配組策略(由於文件系統同時向各種 LBA 範圍發出多個 IO)為您提供額外的性能。
但是,由於總備用容量與使用者數據相比,單個 28 磁碟池應提供稍高的空間效率。
關於 XFS 選項,您應該
su=512k,sw=8
基於 ADAPT 佈局使用。無論如何,對於配備大功率損耗保護寫記憶體的高端控制器,這應該有輕微的影響。