Linux

守護程序在 Linux 文件伺服器上創建硬連結,找到相同的文件

  • September 19, 2013

我有一個 Linux 伺服器,我只儲存新文件或重命名目錄,從不編輯文件。它包含來自其他 Linux 伺服器的備份。

由於某些情況,有很多重複的文件,通常名稱不同。

是否有任何免費的 Linux 工具可以定期掃描文件系統並擁有一個包含文件名、大小和可能 sha1sum 的數據庫,然後辨識重複項並用硬連結替換它們?

一些工具取自 https://unix.stackexchange.com/questions/3037/is-there-an-easy-way-to-replace-duplicate-files-with-hardlinks

  • trimtrees.pl
  • fduples -L
  • findup -m(來自 fslint)
  • rdfind -makehardlinks

您可以在 cron 作業中執行其中一個。

您可以使用重複數據刪除文件系統。Linux 中有兩個主要選擇 - btrfs 和 zfs。

使用 btrfs 的缺點是它仍然沒有被標記為穩定並且沒有 fsck。

由於許可問題,ZFS 不在 Linux 核心中,但有一個核心模組支持大多數 Linux 發行版。ZFS 還支持某種帶有擦洗功能的線上 fsck。您可以在zfsonlinux.org上查看支持的發行版

兩者都具有壓縮、重複數據刪除和快照功能,無需任何額外的使用者空間守護程序 - 使其成為備份解決​​方案的理想選擇。

引用自:https://serverfault.com/questions/501994