Filesystems

哪個文件系統用於大型 LVM 磁碟(8 TB)?

  • April 17, 2016

我有一個帶有許多 2 TB 磁碟的 Linux 伺服器,目前都在一個 LVM 中,導致大約 10 TB 的空間。我在 ext4 分區上使用所有這些空間,目前有大約 8.8 TB 的數據。

問題是,我的磁槃經常出錯,即使我更換(也就是說,我用 dd 將舊磁碟複製到新磁碟,然後我將新磁碟放入伺服器中)它們一出現錯誤,我經常得到大約 100 MB 的損壞數據。這使得 e2fsck 每次都發瘋,並且通常需要一周時間才能使 ext4 文件系統再次處於正常狀態。

所以問題是:你會推薦我在我的 LVM 上使用什麼文件系統? 或者你會建議我做什麼(我真的不需要 LVM)?

我的文件系統簡介:

  • 許多不同總大小的文件夾(一些總計 2 TB,一些總計 100 MB)
  • 近 200,000 個不同大小的文件(其中 3/4 大約 10 MB,1/4 在 100 MB 和 4 GB 之間;我目前無法獲得更多關於文件的統計資訊,因為我的 ext4 分區已經完全損壞了幾天)
  • 多讀少寫
  • 並且我需要容錯(我停止使用 mdadm RAID,因為它不喜歡在整個磁碟上出現一個錯誤,而且我有時會遇到故障磁碟,我會盡快更換,但這意味著我可以得到損壞的數據我的文件系統)

主要問題是磁碟故障。我可以失去一些文件,但我不能同時失去所有文件。

如果我繼續使用 ext4,我聽說我最好嘗試製作更小的文件系統並以某種方式“合併”它們,但我不知道如何。

我聽說 btrfs 會很好,但我找不到任何線索來說明當數據沒有被複製(mkfs.btrfs -d single?)時它如何管理失去磁碟的一部分(或整個磁碟)。

歡迎對這個問題提出任何建議,在此先感謝!

這不是文件系統問題,而是磁碟的物理限制。這裡有一些數據:

SATA 驅動器的不可恢復讀取錯誤率 (URE) 通常指定為 10^14。這意味著即使磁碟工作正常,每 12TB 的 1 個字節也將無法恢復地失去。

這意味著如果沒有 RAID,即使沒有驅動器發生故障,您也會失去數據- RAID 是您唯一的選擇。

如果您選擇 RAID5(總容量 n-1,其中 n = 磁碟數),仍然不夠。使用由 6 個 2TB HDD 組成的 10TB RAID5,您每年有 20% 的機會出現一個驅動器故障,而單個磁碟出現故障,由於 URE,您將有 50% 的機會成功重建 RAID5 並恢復 100% 的數據.

基本上,由於磁碟容量大且 URE 相對較高,您需要 RAID6 才能確保即使再次出現單個磁碟故障。

閱讀:http ://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

引用自:https://serverfault.com/questions/436073