Log-Files

超高效壓縮

  • June 12, 2011

我儲存了大量(TBytes)的日誌。這些日誌很少會被提取,並且當它們被提取時 - 只需要一個文件。

您能推荐一個比 bzip2 好很多的超高效且極其穩定的壓縮算法嗎?

lzma (aka xz) 應該比 bzip2 做得更好,但需要更長的時間。

paq(又名 zp)會做得更好,但需要很長時間來壓縮和解壓縮。

兩者都可用於 Windows 和 *nix 環境(大多數 *nix 系統都有可用的軟體包)

對 smartd 日誌的快速測試:

Original       3900K
GZip            208K    0.11s
BZip2            71K    3.07s
XZ               13K    1.76s*
ZP                6K   25.68s*

*我有 -O3 為xz和編譯的埠zpgzipbzip2二進製文件是在沒有優化的情況下預編譯的。

引用自:https://serverfault.com/questions/279633