Linux下提高压缩速度——多线程压缩pigz
姜磊
常用压缩
Linux下常用的压缩包括：
- tar: 如 tar zcvf a.tgz ./a
- zip: 如 zip -qr a.zip ./a
如果只在Linux系统上使用，应用最多的是tar，如果涉及到与windows交互，一般用zip。
但有一个问题，就是它们在压缩时，最多占用一个cpu到100%，是单线程的，当要处理的文件比较大时，将非常耗时。
这里以使用tar为例，来介绍一下多线程压缩工具pigz。
使用多线程pigz
通过查看tar的man page，可以看到Compression options中可以指定压缩程序：
-I, --use-compress-program=COMMAND
在这里，我们指定pigz程序，以实现多线程并发压缩，从而提高压缩速度。
需要安装：apt -y install pigz。
如需要把当前目录下所有内容压缩到d.tgz，使用方法如下：
tar --use-compress-program=pigz -cvf d.tgz *
这时，可以看到cpu使用率上来了，压缩速度也提高很多，适用于cpu空闲状态下使用。
当然，也可以直接使用pigz命令，但pigz只能压缩单个文件，一般还是结合tar的打包功能一起使用。
pigz常用命令参数：
-p: 设置最大使用线程数量，默认所有在线cpu，如果不能获取cpu数量，则取8
-b：设置压缩块大小，默认128k
-d：解压缩
-q：静默模式，不输出任何信息
-k：不删除原始文件
-l：输出压缩内容
-r：递归子目录
-S：使用sss后缀替换gz
-v：输出详细信息
使用方式：
tar -cvf - dir1 dir2 dir3 | pigz -p 8 > output.tgz
解压：
pigz -p 8 -d output.tgz
小节
使用pigz，利用了多核cpu，提高了压缩速度。
类似于windows中的winzip，可以设置全力压缩或者优化保证其他应用，其实就是在设置最高使用线程数量。
目前的服务器核心都比较多，建议使用pigz压缩及解压。
类似资料：