Raid

每個主軸縮放的 Raid-5 性能

  • April 11, 2012

所以我被困在一個角落裡,我有一個儲存項目,限制為 24 個主軸,並且需要大量的隨機寫入(對應的讀取端是純順序的)。需要我的驅動器上的每一點空間,在 n-1 raid-5 中總共約 13TB,並且必須快速執行,超過 2GB/s 的速度。

顯而易見的答案是使用 Stripe/Concat (Raid-0/1),或者更好的是使用 raid-10 代替 raid-5,但由於我無法控制的原因,這是不允許的。因此,我在這裡尋求幫助,以使次優配置盡可能好。

該陣列建立在直接連接的 SAS-2 10K rpm 驅動器上,由具有 4GB 記憶體的 ARECA 18xx 系列控制器提供支持。64k 陣列條帶和一個 4K 條帶對齊的 XFS 文件系統,具有 24 個分配組(以避免因作為 5 次襲擊而受到的一些懲罰)。

我的問題的核心是:在具有 6 個主軸/AG 的相同設置中,我看到寫入性能接近磁碟有限,每個主軸約 100MB/s,在 12 個主軸時,我看到下降到約 80MB/s 和 24 ~60MB/秒。

我希望通過分佈式奇偶校驗和匹配的 AG,性能應該隨著主軸數的增加而擴展,或者在小主軸數時會更差,但這個陣列的作用恰恰相反。

我錯過了什麼?

Raid-5 的性能是否應該與主軸數一起擴展?

非常感謝您的回答和任何想法、意見或指導。

–Bill 編輯: 提高 RAID 性能 我能夠找到的另一個相關執行緒在答案中討論了一些相同的問題,儘管它仍然讓我無法回答關於性能擴展的問題。

您的限制是您的突襲控制器。隨機寫入(如大型記憶體)和基於奇偶校驗的 RAID(如快速奇偶校驗計算器)。在本地連接的控制器上添加到基於奇偶校驗的 RAID 陣列(如 RAID 5 或 6)的磁碟越多,每個主軸的性能就越低。大型直接附加儲存(超過 8 個驅動器左右)往往是 raid 10 以避免此問題。使用基於奇偶校驗的 RAID(5 或 6)的唯一原因是從更高的可用空間比率中受益。不利的一面是,如果您失去了驅動器,如果 RAID 很大,則重建將花費更多時間。

沒有新硬體

如果您的硬體是固定的,並且您需要盡可能好地完成這項工作,那麼您的最佳性能將來自 RAID 10,但是您將失去一半的可用空間。此外,雖然一開始它似乎更有彈性,因為您可以失去多達一半的驅動器而不會發生故障,但如果失去了錯誤的兩個驅動器,您仍然可能失去數據。

本地附加儲存的另一個選項是 ZFS。我不聲稱知道它的內部工作原理,但我的理解是它會完全忽略 RAID 卡並在底層磁碟上工作。如果您正確配置它,它可能會對小寫入的奇偶校驗產生較低的懲罰。

新硬體

如果你有錢來解決這個問題,那麼投資一個更好的 RAID 控制器會很有幫助。具有更多記憶體和更快處理器的東西。如果您決定使用基於奇偶校驗的 RAID,最好通過製作多個 RAID - 最好是 3 組,每組 8 個心軸。

比這更好的是獲得一些外部儲存:具有處理所有記憶體和奇偶校驗計算的儲存控制器,並且只允許通過 SAS 或光纖通道訪問儲存。

引用自:https://serverfault.com/questions/378169