Linux 经常使用文件压缩用法 压缩和解压

运行环境:CentOS7.4
目前压缩前的文件大小84G:

tar -c --xz   -f 20180814.tar.xz 20180814/
tar -c --lzma   -f 20180814.tar.lzma 20180814/
tar -c --gzip   -f 20180814.tar.gz 20180814/
tar -c --bzip2   -f 20180814.tar.bz2 20180814/
tar -c --lzip   -f 20180814.tar.lzip 20180814/
tar -c --lzop   -f 20180814.tar.lzop 20180814/

解压方式:
tar -x --xz   -f 20180814.tar.xz      可简写为:tar -xJvf 20180814.tar.xz
tar -x --lzma   -f 20180814.tar.lzma 
tar -x --gzip   -f 20180814.tar.gz    可简写为:tar -xzvf 20180814.tar.gz
tar -x --bzip2   -f 20180814.tar.bz2 可简写为:tar -xjvf 20180814.tar.bz2
tar -x --lzip   -f 20180814.tar.lzip
tar -x --lzop   -f 20180814.tar.lzop 

均采用默认的压缩等级。
压缩时间  压缩后大写 压缩比 压缩期间CPU利用率  CPU负载  IO读 IO写 内存  

比对以前的软件安装:
yum -y install lz4
yum -y install lzip
yum -y install lrzip
yum -y install lzop
yum -y install xz
yum -y install xz-lzma-compat
yum -y install zip
yum -y install plzip
yum -y install tar  gzip
yum -y install pigz
yum -y install bzip2 
yum -y install pbzip2
yum -y install lbzip2
yum -y install lz4

注释:pigz 是对gzip的并行支持,XZ则被称之为压缩率之王。
     pbzip2 是对bzip2的并行支持,还有一种对bizp2的并行支持软件是lbzip2.
plzip 是对zip文件的并行支持。
上述的软件包版本均可以
在EPEL repo中直接安装下载
rar和windows下常见的zip:
https://forensics.cert.org/cert-forensics-tools-release-el7.rpm
yum -y --enablerepo=forensics install rar
yum -y --enablerepo=forensics install unrar
pbzip2的压缩命令:
tar -cf dumper.tar.bz2 --use-compress-prog=pbzip2 -p 8 dumper/
pigz的压缩命令:
tar cvf - dumper | pigz > dumper_pigz.tar.gz
压缩:
tar --use-compress-program=pigz -cvpf package.tgz ./package
解压:
tar --use-compress-program=pigz -xvpf package.tgz -C ./package

软件的版本软下:


压缩等级:
统采压缩等级有1-9,默认为6.
1 等同于 --fast 即压缩时间最快
9 等同于 --best 即压缩比最大,压缩后的文件最小。
6 默认值,即在压缩时间和压缩率上综合考虑。

结论:
注意:压缩时间使用real计算,而不使用user+sys计算的缘由是,多线程下user的时间是每一个线程时间之和,与咱们能够感知到的时间误差较大,因此选择real,该服务器上都是初始化的job,因此real更接近用户感知的时间。

参考:
https://catchchallenger.first-world.info/wiki/Quick_Benchmark:_Gzip_vs_Bzip2_vs_LZMA_vs_XZ_vs_LZ4_vs_LZO
https://linuxaria.com/article/linux-compressors-comparison-on-centos-6-5-x86-64-lzo-vs-lz4-vs-gzip-vs-bzip2-vs-lzma

http://bogdan.org.ua/2015/03/28/compressors-galore-pbzip2-lbzip2-plzip-xz-and-lrzip-tested-on-a-fastq-file.html