增量压缩和一次性压缩有什么区别？

Question

我正在尝试使用Python中的bz2和/或lzma包。我正在尝试以csv格式压缩数据库转储，然后将其放入zip文件。我让它工作与一次压缩与两个包。

其代码如下所示：

with ZipFile('something.zip', 'w') as zf:
    content = bz2.compress(bytes(csv_string, 'UTF-8'))  # also with lzma
    zf.writestr(
        'something.csv' + '.bz2',
        content,
        compress_type=ZIP_DEFLATED
    )

with ZipFile('something.zip', 'w') as zf:
    compressor = bz2.BZ2Compressor()
    content = compressor.compress(bytes(csv_string, 'UTF-8'))  # also with lzma
    zf.writestr(
        'something.csv' + '.bz2',
        content,
        compress_type=ZIP_DEFLATED
    )
    compressor.flush()

我浏览了文档，也查找了有关压缩技术的信息，但似乎没有关于什么是一次性压缩和增量压缩的全面信息。

Answer 1

单次模式和增量模式的区别在于,在单次模式下,您需要将整个数据保存在内存中；如果您正在压缩一个100GB的文件，那么您应该有大量的RAM。

使用增量编码器，您的代码可以一次输入压缩器1MB或1KB，并将任何数据结果写入一个文件，只要它是可用的。另一个好处是，您可以使用一个增量压缩器来流数据--您可以在所有未压缩数据可用之前开始写入压缩数据！

您的第二个代码是不正确的，它将导致您丢失您的数据。flush还可能返回更多需要保存的数据。这里我在Python3中压缩了一个包含1000个'a'字符的字符串；compress的结果是一个空字符串；实际的压缩数据是从flush返回的。

>>> c = bz2.BZ2Compressor()
>>> c.compress(b'a' * 1000)
b''
>>> c.flush()
b'BZh91AY&SYI\xdcOc\x00\x00\x01\x81\x01\xa0\x00\x00\x80\x00\x08 \x00 
\xaamA\x98\xba\x83\xc5\xdc\x91N\x14$\x12w\x13\xd8\xc0'

compressor = bz2.BZ2Compressor()
content = compressor.compress(bytes(csv_string, 'UTF-8'))  # also with lzma
content += compressor.flush()    

但实际上，你仍然在做一次压缩，以一种非常复杂的方式。