Google dataflow仅部分解压缩用pbzip2压缩的文件

Question

seq 1 1000000 > testfile

bzip2 -kz9 testfile
mv testfile.bz2 testfile-bzip2.bz2

pbzip2 -kzb9 testfile
mv testfile.bz2 testfile-pbzip2.bz2

gsutil cp testfile gs://[bucket]
gsutil cp testfile-bzip2.bz2 gs://[bucket]
gsutil cp testfile-pbzip2.bz2 gs://[bucket]

然后我在两个压缩文件上运行以下管道。

        p.apply(TextIO.read().from(filePath).withCompressionType(TextIO.CompressionType.BZIP2))
         .apply(TextIO.
                write().
                to(filePath.substring(0, filePath.length() - 4)).
                withoutSharding());

这将导致我的bucket的以下状态：

如您所见，由pbzip2压缩的未压缩文件太小，无法正确解压缩。似乎只有第一个块被解压缩，其余的都被丢弃了。

我用pbzip2压缩了很多文件，我希望不改变它们的压缩方式。

对如何解决这个问题有什么建议吗？这甚至可以用于使用pbzip2压缩的文件吗？

Answer 1

这是调用BZIP2库读取pbzip2生成的文件的方式中的一个bug。当我键入此内容时，修复程序正在审查中。参见BEAM-2708。