如何使用最大压缩率使用TAR对目录进行XZ处理？

#1 楼

tar -cf - foo/ | xz -9 -c - > foo.tar.xz 

#2 楼

XZ_OPT=-9 tar cJf tarfile.tar.xz directory

XZ_OPT=-e9 tar cJf tarfile.tar.xz directory

#3 楼

XZ_OPT=-9e tar cJf tarfile.tar.xz directory

XZ_OPT=-9 tar cJf tarfile.tar.xz directory

#4 楼

tar -cf - foo/ | xz --lzma2=dict=1536Mi,nice=273 -c - > foo.tar.xz 

#5 楼

tar cf - wam_GG_${dir}.nc | xz -4e > wam_GG_${dir}.nc.tar.xz 

$ tar -cf - wam_GG.nc | xz -4e > wam_GG.nc.xz
$ tar -cf - wam_GG.nc | xz -9e > wam_GG.nc.xz.2

#6 楼

#7 楼

tar -I 'xz -9' -cvf foo.tar.xz foo/  
tar -I 'gzip -9' -cvf foo.tar.gz foo/    

tar -I 'lz4 -9' -cvf foo.tar.lz4 foo/
tar -I 'zstd -19' -cvf foo.tar.zst foo/

tar -I lz4 -xvf foo.tar.lz4  
tar -I zstd -xvf foo.tar.zst  

tar -I lz4 -tvf foo.tar.lz4
tar -I zstd -tvf foo.tar.zst

#8 楼

-T, --threads=NUM   use at most NUM threads; the default is 1; set to 0

export XZ_DEFAULTS="-9 -T 0 "

#9 楼

$ Tbefore=`date +%s%3N` && XZ_OPT=-9 tar cJf python3.6.tar.9xz Python-3.6.0 && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"
43.87
$ Tbefore=`date +%s%3N` && XZ_OPT=-e9 tar cJf python3.6.tar.e9xz Python-3.6.0 && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"
53.861

$ Tbefore=`date +%s%3N` && tar xf python3.6.tar.9xz && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"  && rm -rf Python-3.6.0
1.395
$ rm -rf Python-3.6.0
$ Tbefore=`date +%s%3N` && tar xf python3.6.tar.e9xz && Tafter=`date +%s%3N`
$ python -c "print((float($Tafter) - float($Tbefore)) / 1000.)"  && rm -rf Python-3.6.0
1.443

#10 楼

tar c foo/ | nice -n19 xz -9 -T4 > foo.tar.xz

#11 楼

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on archive.7z dir1

#12 楼

tar Jcvf targetFileName.tar.xz --options='compression-level=9' directoryName

#13 楼

请参阅下面的prtsc：



由于我从SD内存读取速度的限制，我故意不使用动态压缩（不使用管道）笔记型电脑（最大〜28 MB / s）。我使用dd命令

xz -k -8e -M 7000MB -T 8 -v sd-dump-rpi3b+-strech.img

或选项完全使用dd语法将系统映像从sd卡转储到ssd磁盘：

然后将其压缩。这样，我绕过了SD卡的数据传输速度瓶颈，并使用了最大的速度：CPU线程，内存RAM和SSD（读/写〜540 MB / s）

值得考虑的事实是，所使用的sd卡的容量为32GB，系统使用的容量约为3.6GB。压缩前，卡转储的重量约为29GB，压缩后约为1.GB。空卡空间约为28.4GB，还压缩了约3.6GB的数据-主要是二进制文件。假设3.6到1.7会给出50％的压缩率，压缩时间约为15分钟，这是令人满意的效果。我故意跳过了自由空间压缩，因为在此过程中，我注意到压缩时间从最初计算的约45分钟开始迅速减少，并且将SSD磁盘的瞬时使用增加到了约266MB / s（脉冲）。

值得一提的是，在高压缩级别下，大量的CPU线程（例如，对于我来说，在-8e时为8个线程）和无法正确使用的RAM数量导致线程数xz减少（不超过所声明的内存使用限制）。

RAM内存限制和CPU线程的数量可以让你保持足够的性能和快速的压缩，而不用尽硬件资源（CPU和RAM）的适当选择。

我正在研究中使用以下软件：
硬件

IdeaPad Z580


i7-3632QM
2 x 4 GB SODIMM DDR3同步PC3-12800（1600 MHz）
SSD IRSSDPRS25A120

软件：


Debian Stretch（x86_64）
内核4.9.0-11-amd64
xz（XZ Utils）5.2.2
liblzma 5.2.2

有关在man xz中优化使用xz的可能性的更多信息。

评论

---

请注意，该线程迄今为止已被读取104k次。确保添加一些与众不同的东西。到目前为止，我还没有看到这篇文章对整个主题的贡献。与编写一个单行代码有什么不同：xz -k -8e -M 7000MB -T 8 -v what.img？例如，它已经在此处发布了，但不完全相同，但是使用指出的XZ_OPT语法更好。干杯。

– LinuxSecurityFreak
20年1月20日在13:48

---

我从技术方面分享我的经验。该示例基于我上面编写的语法xz（XZ Utils）5.2.2（带有man xz）。我认为该测试可以更全面地了解xz的使用情况，并提供一个示例，供进一步测试以优化压缩率，性能和设备负载。问候。

–亚当·沃多夫斯基（AdamWądołkowski）
20年1月20日在16:22

---