Lz4压缩不可拆分

Question

我正在使用lz4压缩并将数据写入hive表，该表有20个文件，每个文件在HDFS上都是15G，并且该表的每个文件名都以lz4结尾，例如，part-m-00000.lz4。

当我从这个表中运行select count（1）时，它只启动了20个映射器，这意味着lz4 splittable不能生效。

据说lz4支持针对文本文件的可拆分性，所以我想问一下我应该做什么或其他步骤来实现这一点。

Answer 1

假设您可以控制数据的压缩方式，那么这个编解码器可能更接近您所需要的，因为它嵌入了一个可拆分层。它设计用于Hadoop。

如果你不能改变格式，并且它被压缩为一个没有跳转表的单一流，那么恐怕没有好的解决方案<默认情况下，CLI将数据分割为4 MB的块，但不提供任何跳转表。跳转表使存档易于按随机顺序读取。没有它，就需要对数据进行流式处理，并分发块以供以后处理。