如何在UNIX中解压缩zlib数据？

#1 楼

如果没有，或者想要使用openssl或其他工具，也可以使用标准的shell脚本+ gzip对其进行解压缩。诀窍是在gzip魔术数字和compress方法之前添加zlib.compress的实际数据：

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

编辑：
@ d0sboots评论：对于RAW Deflate数据，您需要再添加2个空字节：→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

> SO上的此问题提供了有关此方法的更多信息。那里的答案表明还存在一个8字节的页脚。 />
@ tobias-kienzler建议了bashrc此功能：zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

#2 楼

zlib-flate -uncompress < IN_FILE > OUT_FILE

我尝试过，对我有用。
zlib-flate可在软件包qpdf中找到（根据其他答案的评论，在Debian Squeeze和Fedora 23中）
（感谢用户@tino谁在OpenSSL答案下方提供了此评论作为注释。将其做成适当的答案以方便访问。）

#3 楼

我找到了一种解决方案（可能的一种），它正在使用openssl：

$ openssl zlib -d < /tmp/data

或

$ openssl zlib -d -in /tmp/data

*注意：zlib功能显然在最新的opensl版本> = 1.0.0中可用（必须使用zlib或zlib-dynamic选项配置/构建OpenSSL，后者是默认选项）

#4 楼

我推荐zlib压缩库的合著者Mark Adler的Pigz。执行pigz以查看可用的标志。

您会注意到：

-z --zlib Compress to zlib (.zz) instead of gzip format.

您可以使用-d标志解压缩： br /> -d --decompress --uncompress Decompress the compressed input.

假设文件名为“ test”：



pigz -z test-创建一个名为test.zz的zlib压缩文件>
pigz -d -z test.zz-将test.zz转换为解压缩的测试文件

在OSX上，可以执行brew install pigz

#5 楼

zlib实现gzip使用的压缩，但不实现文件格式。相反，您应该使用gzip模块，该模块本身使用zlib。

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

#6 楼

Mark Adler本人在此处找到的示例程序zpipe.c（与zlib库的源分发一起提供）对于使用原始zlib数据的这些情况非常有用。用cc -o zpipe zpipe.c -lz编译并解压缩：zpipe -d < raw.zlib > decompressed。它也可以在没有-d标志的情况下进行压缩。

#7 楼

在完全兼容POSIX的UNIX（已正式认证！）的macOS上，OpenSSL不支持zlib，也没有zlib-flate，并且第一个解决方案与所有Python解决方案一样有效，第一个解决方案要求ZIP数据必须文件中的所有其他解决方案会迫使您创建Python脚本。

这是一个基于Perl的解决方案，可以用作命令行单行代码，通过STDIN管道获取输入，并且可以与新安装的macOS一起使用：

 cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'
 

Nicer格式，Perl脚本如下：

 use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;
 

#8 楼

可以这样做：

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

然后像这样运行它：

$ python expander.py data/*

#9 楼

您可以使用它与zlib一起压缩：

openssl enc -z -none -e < /file/to/deflate

然后压缩：

openssl enc -z -none -d < /file/to/deflate

#10 楼

在开发与eIDAS相关的代码期间，我想出了bash脚本，该脚本解码SSO（SingleSignOn）SAMLRequest参数，该参数通常由base64和raw-deflate（php gzdeflate）编码。 =“ lang-bsh prettyprint-override”> #!/bin/bash # file decode_saml_request.sh urldecode() { : "${*//+/ }"; echo -e "${_//%/\x}"; } if [[ $contents == *"SAMLRequest" ]]; then # extract param SAMLRequest from URL, strip all following params contents=$(cat | awk -F 'SAMLRequest=' '{print }' | awk -F '&' '{print }') else # work with raw base64 encoded string contents=$(cat ) fi # add gzip raw-deflate header bytes and gunzip (`gzip -dc` can be replaced by `gunzip`) printf "\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00" | cat - <(echo `urldecode $contents` | base64 -d) | gzip -dc

您可以像

 > decode_saml_request.sh /path/to/file_with_sso_url
# or
> echo "y00tLk5MT1VISSxJBAA%3D" | decode_saml_request.sh
一样使用它

脚本也在这里按gist发行：https://gist.github.com/smarek/77dacb9703ac8b715b5eced5314d5085，所以我可能不会保留此答案，但我会保留源gist >

#11 楼

对于需要适当的页眉和页脚（从zlib到gzip的实际转换）的人，我还添加了@Alex Stragies转换。
使用上述方法之一可能会更容易，但是如果读者有像我这样的情况，需要将zlib转换为gzip而不进行解压缩和重新压缩，这就是这样做的方法。
根据RFC1950 / 1952，zlib文件只能有一个流或成员。这与gzip的不同之处在于：

gzip文件由一系列“成员”（压缩数据集）组成。 ...成员只是在文件中一个接一个地出现，
在它们之前，之间或之后没有其他信息。

这意味着尽管单个zlib文件始终可以转换到单个gzip文件，则严格来说并非如此。需要注意的地方。
zlib同时具有页眉（2个字节）和页脚（4个字节），必须将其从数据中删除，以便可以附加gzip标头和页脚。一种实现方法如下：

# Remove zlib 4 byte footer
trunc_size=$(ls -l infile.z | awk '{print  - 4}')
truncate -s $trunc_size infile.z


# Remove zlib 2 byte header
dd bs=1M iflag=skip_bytes skip=2 if=infile.z of=tmp1.z

现在我们只有原始数据，可以追加gzip标头（来自@Alex Stragies）。

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00" | cat - tmp1.z > tmp2.z

gzip页脚为8个字节长。它由未压缩文件的CRC32以及未压缩mod 2 ^ 32文件的大小组成，均为大字节序格式。如果您不了解这些内容，但有办法获取未压缩的文件：

generate_crcbig() {
    crc=$(crc32 $uncompressedfile)
    crcbig=$(echo "\x${crc:6:2}\x${crc:4:2}\x${crc:2:2}\x${crc:0:2}")
}

generate_lbig () {
    leng=$(ls -l $uncompressedfile | awk '{print }')
    lmod=$(expr $leng % 4294967296) # mod 2^32
    lhex=$(printf "%x\n" $lmod)
    lbig=$(echo "\x${lhex:6:2}\x${lhex:4:2}\x${lhex:2:2}\x${lhex:0:2}")
}

，然后可以将页脚附加为：是gzip格式！可以使用gzip -t outfile.gz进行验证，并且可以使用任何符合gzip规范的应用程序进行压缩。

#12 楼

Mark Adler自己在zlib数据包的contrib / puff中找到的简单的充气程序pufftest.c可以处理原始zlib数据，而无需头字节和Adler32校验和。用cc -o pufftest puff.c pufftest.c编译并充气：pufftest < raw.zlib > decompressed。请注意，它无法放气。

#13 楼

我知道作者不想使用Python，但我相信Python3 1-liner是大多数Linux用户的自然选择，所以就在这里：
python3 -c 'import sys,zlib; sys.stdout.write(zlib.decompress(sys.stdin.buffer.read()).decode())' < $COMPRESSED_FILE_PATH

#14 楼

zcat -f infile > outfile 

在fedora25上为我工作