Ubuntu

新 RAID hdparm 慢

  • January 1, 2015

我剛買了一台 HP DL180 G6,它有 25 個 146GB 15K SAS 驅動器、36GB RAM、2 個 2.0GHz Xeon 1333Mhz FSB。為了好玩,我將它們全部配置在一個 RAID 0 中,並在其上安裝了 Ubuntu,以查看在配備 512MB RAM 的 HP Smart Array P410 控制器上使用 25 個驅動器時它的速度有多快。

當我執行 hdparm -tT /dev/mapper/concorde–vg-root 我得到

Timing cached reads:   5658MB in  1.99 seconds = 2834.13 MB/sec
Timing buffered disk reads: 1192 MB in  3.00 seconds = 397.13 MB/sec

當我在只有 4 個 15K 驅動器的其他伺服器(HP DL360 G5 - 32GB RAM - 2X 2.66GHz 667Mhz FSB)上執行相同的命令時,我得到:

Timing cached reads:   13268 MB in  1.99 seconds = 6665.18 MB/sec
Timing buffered disk reads: 712 MB in  3.00 seconds = 237.17 MB/sec

我本來預計它的執行速度比舊的快 5 倍,而不是更慢。該伺服器旨在提供流媒體,因此我需要超快速的訪問和傳輸以跟上 2 個 1Gb 網路埠,我希望在執行其他任務時有時會最大化。

我只是將一堆 400MB MP4 文件的副本放在一起,以獲得 45GB 從一個目錄複製到另一個目錄,這需要 96 秒,這對於我聽說過的 RAID 0 的性能提升來說似乎是錯誤的。

它被設置為硬體突襲,我需要在 Linux 中做些什麼來利用應該存在的額外速度嗎?我使用哪種 Linux 版本有關係嗎?我對 CentOS 和 Ubuntu 很滿意,但如果需要,我可以做其他的。

我應該使用不同的命令來衡量性能嗎?我昨天嘗試使用 iotop 和 iostat 來監控 RAID 使用情況,但在通過 FTP 複製 2GB 文件時無法讓它報告任何使用情況,所以在嘗試設置基準、比較它在伺服器之間的性能並對其進行監控時有點卡住了,所以我知道硬碟何時用盡,需要更換 SSD。

哇…這裡有很多要解決的問題。

  • 磁碟性能不僅僅與吞吐量有關。需要處理 IOPS 和延遲以及服務時間的概念。大多數工作負載本質上有點隨機,因此從 IOPS 角度來看,一個陣列中的 25 個企業磁碟總是勝過 4 個磁碟。
  • hdparm不是對企業儲存進行基準測試的正確工具。查看專門建構的程序,例如iozonefio

一個可能對您有幫助的範例 iozone 命令是(從您希望測試的磁碟陣列上的一個大目錄執行):iozone -t1 -i0 -i1 -i2 -r1m -s72g

  • 此伺服器的設計意味著您的磁碟背板已超額使用。伺服器上有一個擴展晶片,這 25 個磁碟共享一個到 RAID 控制器的 4 通道 6Gbps 連接。這意味著您對陣列的理論最大吞吐量為 24Gbps (或 3,000 兆字節/秒)。那是一個天花板,你不會看到超出那個點的性能。
  • Ubuntu 在硬體驅動和支持方面幾乎從來都不是最好的選擇。它沒有得到伺服器的官方支持。CentOS 或 RHEL 更適合這種硬體。
  • HP Smart Array 控制器能夠將一組磁碟(一個陣列)劃分為具有不同容量和 RAID 級別的多個邏輯驅動器。下面的範例顯示了一個分割成三個邏輯驅動器的 4 磁碟陣列。其中一個邏輯驅動器配置了與其他驅動器不同的 RAID 級別。

插槽 0(嵌入式)中的 Smart Array P420i(序列號:0014380296200A0)

  logicaldrive 1 (72.0 GB, RAID 1+0, OK)
  logicaldrive 2 (1024.0 GB, RAID 1+0, OK)
  logicaldrive 3 (869.1 GB, RAID 5, OK)

  physicaldrive 1I:2:1 (port 1I:box 2:bay 1, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:2 (port 1I:box 2:bay 2, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:3 (port 1I:box 2:bay 3, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:4 (port 1I:box 2:bay 4, SAS, 900.1 GB, OK)
  • 任何時候都不應在此處將RAID 0用作邏輯驅動器。如果您可以騰出空間,RAID 1+0 將在這種硬體組合下表現得非常好。
  • 你有 LVM。在使用這些 HP Smart Array RAID 控制器時,這不是最佳方法。這是一個額外的抽象層,您不會看到最佳性能(儘管可以對其進行調整以使其正常工作)。
  • 韌體。您需要更新伺服器和相關組件的韌體。每個 HP RAID 控制器韌體版本都會改進功能。
  • RAID 記憶體配置。確保 RAID 電池正常,並且記憶體讀/寫平衡適合您的工作負載。
  • 文件系統選擇。XFS 是流媒體的不錯選擇。但是您要求的費率相對較低。任何現代 Linux 文件系統都應該沒問題。

引用自:https://serverfault.com/questions/655663