Performance
ext4 文件列表在一個包含大量文件的特定目錄中非常慢
背景
我有一個小的 logrotate 失誤…… Logrotate 會因錯誤而旋轉歸檔日誌,從而導致我的
/var/log/
. 當我發現有什麼不對勁的時候,/var/log/
已經包含了幾百萬個文件……我設法(在一些脫髮和 find/sed/grep 魔術之後)刪除了所有有問題的文件並修復了我的 logrotate 配置。並認為一切都很好……
問題
每當我
ls
/du -hs
或以其他方式列出/var/log/
(現在包含 80mb 的檔案/日誌和最多幾百個文件)的內容時,執行該操作的過程會掛起一兩分鐘。我確實相信這在某種程度上與 logrotate 事故有關,但我不確定,可能是其他原因。無論如何,我不知道從哪裡開始調試或尋找解決方法。請幫助:3其他資訊
uname -a Linux xxx 3.3.8-gentoo #18 SMP Sat Sep 21 22:44:40 CEST 2013 x86_64 Intel(R) Core(TM)2 CPU 4400 @ 2.00GHz GenuineIntel GNU/Linux cat /proc/meminfo MemTotal: 2051552 kB MemFree: 75612 kB Buffers: 9016 kB Cached: 1740608 kB SwapCached: 0 kB CFQ IO scheduler + SLUB allocator
我以為:一個目錄中有多少文件太多了?(從網上下載數據)是相關的,但我沒有留下文件了。
編輯
即使在呼叫之後問題仍然存在,
init 1
所以我認為可以安全地假設除了 FS 之外沒有其他程序可以歸咎於。解決方案(從接受的答案中應用)
init 1 mv /var/log /var/log1 mkdir /var/log chmod --reference=/var/log1 /var/log chown --reference=/var/log1 /var/log tar -C /var/log1 -cvp . | tar -C /var/log -xvp rm -rf /var/log1 init 5
目錄只會增長,不會縮小。嘗試將所有這些文件移出一個臨時目錄(如 log2),然後 rmdir 舊目錄並將臨時目錄重命名為新的永久目錄。
來自
man e2fsck
:-D Optimize directories in filesystem. This option causes e2fsck to try to optimize all directories, either by reindexing them if the filesystem supports directory indexing, or by sorting and com‐ pressing directories for smaller directories, or for filesystems using traditional linear directo‐ ries. Even without the -D option, e2fsck may sometimes optimize a few directories --- for example, if di‐ rectory indexing is enabled and a directory is not indexed and would benefit from being indexed, or if the index structures are corrupted and need to be rebuilt. The -D option forces all directories in the filesystem to be optimized. This can sometimes make them a little smaller and slightly faster to search, but in practice, you should rarely need to use this option. The -D option will detect directory entries with duplicate names in a single directory, which e2fsck normally does not enforce for performance reasons.
換句話說,如果你有一個文件系統卷,你可以離線,你可以簡單地
e2fsck -Df <block_device>
在它上面執行,它會縮小所有目錄。包括文件系統中的根目錄,除非重新格式化卷,否則無法刪除。在我的例子中,它成功地將捲上的根目錄從 56MiB(曾經有超過 1M 的文件)縮小到大約 220KiB(大約 3-4K 的文件)。