Performance

一個目錄中有多少個文件太多了?(從網路下載數據)

  • December 4, 2015

你好,

我正在編寫一些腳本來處理來自各種照片網站的圖像。現在,我將所有這些數據儲存在同一目錄中的單個文本文件中。

該目錄可通過網路訪問。最終使用者呼叫 Web 服務,該服務返回使用者需要的文件的路徑。

我想知道在哪個階段將所有這些文件放在同一個目錄中會對性能產生影響?(如果有)

性能因您使用的文件系統而異。

  • FAT:算了 :) (好吧,我認為每個目錄的限制是 512 個文件)
  • NTFS:雖然每個文件夾可以容納 40 億個文件,但它的降級速度相對較快——大約一千個你會開始注意到性能問題,幾千個你會看到資源管理器似乎掛了很長一段時間。
  • EXT3:物理限制為 32,000 個文件,但性能在數千個文件後也會受到影響。
  • EXT4:理論上無限
  • ReiserFS、XFS、JFS、BTRFS:這些對於目錄中的大量文件來說是很好的,因為它們更現代並且旨在處理許多文件(其他的設計早在 HDD 以 MB 而非 GB 測量的時代) . 許多文件(以及 ext4)的性能要好得多,因為它們都使用二進制搜尋類型算法來獲取您想要的文件(其他文件使用更線性的算法)。

引用自:https://serverfault.com/questions/98235