利用多核进行tar gzip/bzip压缩/解压缩

Question

我通常使用tar zcvf压缩，使用tar zxvf解压（由于习惯使用gzip）。

我最近得到了一个带有超线程的四核CPU，所以我有8个逻辑核，我注意到许多核在压缩/解压过程中没有使用。

有什么方法可以利用未使用的内核来加快速度吗？

Answer 1

有tar程序选项：

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

您可以使用多线程版本的存档器或压缩器实用程序。

最流行的多线程归档程序是pigz（而不是gzip）和pbzip2（而不是bzip2）。例如：

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

Archiver必须接受-d。如果替换实用程序没有此参数和/或需要指定其他参数，则使用管道（如有必要，添加参数）：

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

单线程和多线程的输入和输出是兼容的。您可以使用多线程版本进行压缩，使用单线程版本进行解压缩，反之亦然。

对于p7zip压缩，您需要一个小的shell脚本，如下所示：

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

另存为7zhelper.sh.这里是用法示例：

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

关于多线程XZ支持。如果您运行的是XZ Utils 5.2.0或更高版本，则可以通过环境变量XZ_DEFAULTS（例如，XZ_DEFAULTS=“-t0”）将-T或-threads设置为适当的值，从而利用多个内核进行压缩。

这是5.1.0alpha版本的man片段：

多线程压缩和解压缩还没有实现，所以这个选项暂时没有效果。

但是，这不适用于未启用线程压缩的文件的解压缩。来自man的版本5.2.2：

线程解压缩尚未实现。它只适用于包含多个块且块标题中包含大小信息的文件。在多线程模式下压缩的所有文件都满足此条件，但在单线程模式下压缩的文件即使使用--block size=size也不满足此条件。

如果从源代码构建tar，那么可以使用参数重新编译

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

使用这些选项重新编译tar后，您可以查看tar帮助的输出：

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Answer 2

可以使用pigz代替gzip，gzip在多核上进行gzip压缩。不使用-z选项，而是通过pigz进行管道传输：

tar cf - paths-to-archive | pigz > archive.tar.gz

默认情况下，pigz使用可用内核的数量，如果无法查询，则使用8个。你可以用-pn来要求更多，例如-p32。pigz与gzip有相同的选项，因此您可以使用-9请求更好的压缩。例如。

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Answer 3

您还可以使用tar标志“-use compress program=”告诉tar要使用什么压缩程序。

例如使用：

tar -c --use-compress-program=pigz -f tar.file dir_to_zip