Performance

ext4 文件列表在一個包含大量文件的特定目錄中非常慢

  • October 9, 2020

背景

我有一個小的 logrotate 失誤…… Logrotate 會因錯誤而旋轉歸檔日誌,從而導致我的/var/log/. 當我發現有什麼不對勁的時候,/var/log/已經包含了幾百萬個文件……

我設法(在一些脫髮和 find/sed/grep 魔術之後)刪除了所有有問題的文件並修復了我的 logrotate 配置。並認為一切都很好……

問題

每當我ls/du -hs或以其他方式列出/var/log/(現在包含 80mb 的檔案/日誌和最多幾百個文件)的內容時,執行該操作的過程會掛起一兩分鐘。我確實相信這在某種程度上與 logrotate 事故有關,但我不確定,可能是其他原因。無論如何,我不知道從哪裡開始調試或尋找解決方法。請幫助:3

其他資訊

uname -a
Linux xxx 3.3.8-gentoo #18 SMP Sat Sep 21 22:44:40 CEST 2013 x86_64 Intel(R) 
Core(TM)2 CPU 4400 @ 2.00GHz GenuineIntel GNU/Linux

cat /proc/meminfo 
MemTotal:        2051552 kB
MemFree:           75612 kB
Buffers:            9016 kB
Cached:          1740608 kB
SwapCached:            0 kB

CFQ IO scheduler + SLUB allocator 

我以為:一個目錄中有多少文件太多了?(從網上下載數據)是相關的,但我沒有留下文件了。

編輯

即使在呼叫之後問題仍然存在,init 1 所以我認為可以安全地假設除了 FS 之外沒有其他程序可以歸咎於。

解決方案(從接受的答案中應用)

init 1
mv /var/log /var/log1
mkdir /var/log
chmod --reference=/var/log1 /var/log
chown --reference=/var/log1 /var/log
tar -C /var/log1 -cvp . | tar -C /var/log -xvp
rm -rf /var/log1
init 5

目錄只會增長,不會縮小。嘗試將所有這些文件移出一個臨時目錄(如 log2),然後 rmdir 舊目錄並將臨時目錄重命名為新的永久目錄。

來自man e2fsck

-D     Optimize directories in filesystem.  This option causes e2fsck to try to optimize all  directories,
either  by  reindexing  them if the filesystem supports directory indexing,  or by sorting and com‐
pressing directories for smaller directories, or for filesystems using traditional linear  directo‐
ries.

Even without the -D option, e2fsck may sometimes optimize a few directories --- for example, if di‐
rectory indexing is enabled and a directory is not indexed and would benefit from being indexed, or
if the index structures are corrupted and need to be rebuilt.  The -D option forces all directories
in the filesystem to be optimized.  This can sometimes make them  a  little  smaller  and  slightly
faster to search, but in practice, you should rarely need to use this option.

The  -D  option  will  detect  directory  entries with duplicate names in a single directory, which
e2fsck normally does not enforce for performance reasons.

換句話說,如果你有一個文件系統卷,你可以離線,你可以簡單地e2fsck -Df <block_device>在它上面執行,它會縮小所有目錄。包括文件系統中的根目錄,除非重新格式化卷,否則無法刪除。在我的例子中,它成功地將捲上的根目錄從 56MiB(曾經有超過 1M 的文件)縮小到大約 220KiB(大約 3-4K 的文件)。

引用自:https://serverfault.com/questions/540821