Xfs

向 SLES 10 伺服器添加 60TB 儲存

  • January 15, 2010

我必須向 SLES 10 伺服器添加一些歸檔\暫存儲存。要求是提供相當大的捲(每個大約 9-20TB,總共 60TB 左右),用於儲存包含大型圖像文件(大部分為 150Meg Tiff)的存檔數據(字面意思是圖書館)和大的壓縮包。數據將壓倒性地偏向於讀取 IO,肯定 > 95% 並且可能超過 99%。

儲存已購買 - 一個戴爾 MD3000 SAS 陣列菊花鍊式連接 2 個 MD1000,完全填充 2TB 7200 RPM SATA 驅動器,總共 45 個驅動器。陣列堆棧使用兩個雙埠外部 SAS 適配器連接,即堆棧有 4 條路徑。

我的意圖是將這些配置為一組 4 個卷,位於 4 個 RAID 組上,每個陣列有一個熱備用。所有組都將是具有 7 或 14 個驅動器的 RAID 6,並且每個 RAID 組將顯示為使用該組中所有容量的單個 LUN。在 SLES 方面,這些需要格式化為 XFS 卷。

我在 SLES(和一般 Linux)方面的經驗有限,我正在尋找一些關於此的建議,特別是:

  1. 在 SLES 10 下配置這種大小的 XFS 卷時,是否有任何具體的事情需要注意,即在給定 IO 配置文件的情況下,預設設置是否可以?
  2. 初始化\分區\格式化這些的最佳方法是什麼?我使用 Parted 設置磁碟標籤和 YAST 分區管理器(接受所有預設值)為我的初始測試創建和格式化 XFS 卷。
  3. 如何設置多路徑?當我展示初始測試卷時,它顯示為四個獨立的設備(/dev/sdl、/dev/sdm、/dev/sdn 和 /dev/sdn)。我該怎麼做才能將其作為單個卷使用?
  4. 在我的初始測試中,我發現現有 EMC Clariion SAN 卷的傳輸速率約為 30Meg/sec。這比我預期的要低很多,即使考慮到 RAID 6 寫入懲罰,我預計會在 70-100Meg/秒的範圍內看到一些東西。
  5. 我如何判斷一切是否正常 - 我應該在哪裡查找錯誤\警告等?例如,YAST 分區編輯器需要很長時間才能啟動,我想了解原因。
  6. 您會對此進行不同的分區和\或使用不同的文件系統嗎?如果是,為什麼?

伺服器是戴爾 2950 - 我沒有檢查詳細規格,但頂部顯示使用率最多徘徊在低個位數。

在我以前的工作中,我們遇到了類似的問題。我們正在為天文館製作,每幀都是 64 兆像素。很多大圖。這些將在一組電腦上以非常激進的讀取操作為每個劇院處理。

在這種情況下,伺服器具有類似的儲存設置。多個外部直接連接的 RAID 陣列。其中每一個都位於暴露給主機的 RAID6 卷中,並添加到 LVM(邏輯捲管理器)下的 VG(卷組)中。然後,每個節目/製作都會獲得自己的 LV(邏輯卷)、格式化的 XFS,我們將根據需要隨項目增長。

如果您的數據集非常靜態或以這樣的可預測方式增長,那麼這種方法應該適合您。但要小心,這種方法確實有缺點。您最終不得不對儲存中的 LV 進行微觀管理。一些管理員更喜歡這種方式,但其他管理員會盡量避免它。但這允許您隨著數據集的增長而增長每個 LV 和 XFS 文件系統。使您的 XFS 卷盡可能小,這樣您就不會被需要數年才能完成的 fsck 卡住。並且可以在文件系統向南時充當損害控制。

免責聲明:如果我今天要設置它,我會使用 OpenSolaris 和 ZFS。主要是 b/c 它避免了微管理問題,是一個優秀的文件系統/捲管理器。所以你可能也想看看。

引用自:https://serverfault.com/questions/102858