zlib deflate：为什么它会积累短数据，直到输入缓冲区满了才开始压缩？

Question

在zlib的deflate实现中，注意到当给定的数据长度较小时，zlib函数会将数据复制到输入缓冲区，只有当输入缓冲区满时才开始压缩。

当给定的数据长度大于输入缓冲区大小时，zlib函数直接开始压缩。

我想知道将短数据积累到输入缓冲区中有什么好处。我能想到的是：

• 避免花费在块处理上的开销，包括Huffman树初始化和CRC caculation
• 保持I/O工作在8KB（或更大）块上，有利于提高性能

有谁知道更多的见解，可以和我分享你的想法，或者给我一些参考资料吗？

if (len < state->size) {
    /* copy to input buffer, compress when full */
    do {
        if (strm->avail_in == 0)
            strm->next_in = state->in;
        n = state->size - strm->avail_in;
        if (n > len)
            n = len;
        memcpy(strm->next_in + strm->avail_in, buf, n);
        strm->avail_in += n;
        state->x.pos += n;
        buf = (char *)buf + n;
        len -= n;
        if (len && gz_comp(state, Z_NO_FLUSH) == -1)
            return 0;
    } while (len);
}
else {
    /* consume whatever's left in the input buffer */
    if (strm->avail_in && gz_comp(state, Z_NO_FLUSH) == -1)
        return 0;

    /* directly compress user buffer to file */
    strm->avail_in = len;
    strm->next_in = (voidp)buf;
    state->x.pos += len;
    if (gz_comp(state, Z_NO_FLUSH) == -1)
        return 0;
}

Answer 1

deflate压缩数据格式由块组成，这些块具有依赖于块数据的标题。因此，deflate的输出每次都是一个块，在第一个块完成之前什么都不写（除了zlib或gzip头）。

Zlib的deflate会累积数据，直到生成16k个符号为止。符号可以是单个字节（以文字形式编码），也可以是长度/距离对，它对前面32K未压缩数据中最多258字节的副本进行编码。因此，在发出第一个块之前，您将积累16K到4MB的未压缩数据（对于高度可压缩的数据）。

一旦积累了数据，zlib决定要构造什么样的块，然后这样做，创建头部，对于动态块，头部描述了块中的霍夫曼码，然后为该块创建编码符号。或者创建一个存储的或静态的块，无论其结果是最少的比特数。只有这样，压缩数据才可用。

这是重复的，所以放气压缩的数据将出现在突发可用，如果你给它提供小的输入缓冲区。它在使用大输入缓冲区时做了完全相同的事情，但你只是不容易看到延迟，但它仍然存在。