Brotli压缩多线程

Question

我的理解是Brotli将块大小信息存储在元块头中，只有块的最终未压缩大小，没有关于压缩长度的信息（9.2）。我猜测需要创建一个包装器，以便在多个线程中使用它，或者可能类似于马克·阿德勒的皮兹。

在这种情况下，线程原则是否适用于Brotli，就像它们适用于gzip一样，或者在多线程实现中是否有任何可预见的问题需要注意？

Answer 1

为此，可以按原样使用brotli格式。我让他们添加将元数据放入空元块的选项（其中“empty”表示元块生成零未压缩数据）。您可以在元数据中放置标记，以帮助查找元块。插入的空元块也会在字节边界处启动下一个元块。

每个元块可以独立于其他元块。如果流是这样构造的，那么在压缩或单独解压缩它们时组合它们是没有问题的。可能的依赖区域是使用的四个最后距离的环形缓冲区，以及当前元块开头的向后引用。为了并行使用，元块可以并且必须被构造成不依赖于最后四个距离，不引用环形缓冲区，直到它被填充到与当前元块的距离。此外，不允许回到当前元块之前的距离（不包括静态引用）。最后，您将追加一个空或元数据块，将序列带到字节边界，以便于连接。

顺便说一下，看起来您正在链接到草稿格式的旧版本。这里是当前版本的链接。