Filesystems

文件系統,可處理超過 200 萬個文件

  • August 29, 2018

我要將文件儲存在伺服器的一個文件夾中。文件量將超過200萬。每個文件大小的範圍在5MB - 100MB之間。

什麼樣的文件系統可以很好地處理這麼多數據?

我知道 XFS 可以處理非常大的單個文件,它可以處理大量文件嗎?

XFS 可以接受,但如果您為自己的案例做計劃,它會更好。如果作業系統可以通過更少的 inode 來獲取數據,那麼訪問該數據(STAT 和 OPEN 操作)會更快。如果您要在給定目錄中擁有少於 30K 個文件/目錄,則無需費心進行此優化。

但是,如果您要更大,您可能需要考慮使用該-i size=512選項來為您提供更大的 inode 大小。這將允許每個 inode 有更多的目錄條目,因此作業系統將不得不通過更少的時間來遍歷樹。鑑於如今的 SSD,這將比在旋轉生鏽的日子裡改善得更少;但這是一個需要考慮的優化。

我曾經管理過一個基於 XFS 的文件系統,其中包含超過 2000 萬個文件,平均文件大小約為 100KB。我設計了那個特定的文件系統來處理超過 1 億個,當我離開那家公司時,它有望實現。這就是我在這裡描述的系統的 prod 版本:The Impact of a high directory-to-file ratio on XFS


XFS 是最好的選擇嗎?很難說。但是對於您描述的大型文件系統,我比ext4更信任它。btrfs或許能夠接受它,但係統運營商中較為保守的派別認為它尚未準備好生產。

引用自:https://serverfault.com/questions/928516