无法反序列化压缩协议缓冲区

Question

我有kafka集群接收消息。消息是一个字节数组的zip文件。zip文件包含二进制的原型数据文件作为条目。我正在读取zip文件，并试图反序列化的原型条目，这就是我的代码是打协议消息无效的UTF-8，无效的标签异常。

在将二进制protobuf文件作为压缩字节数组发送到代理之前，我能够对其进行反序列化。

但是，当我压缩这些二进制protobuf文件，向kafka生成消息，使用它，然后尝试反序列化zip流中的条目时，我面临着一些问题。

我不确定谁是罪魁祸首。

因为这些二进制协议缓冲区是gzip压缩的，所以再次压缩它们会把事情搞砸吗？

有人能照亮吗？

谢啦

**************编辑**************

Producer Side:

public byte[] getZipfileBytes() {
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        ZipOutputStream zipOut = new ZipOutputStream(baos);
        CheckedOutputStream checkSum = new CheckedOutputStream(zipOut, new Adler32());

        try {
            ZipEntry zipEntry = new ZipEntry(testFile.getName());
            byte[] protoBytes = IOUtils.toByteArray(new FileInputStream(testFile));
            System.out.println("bytes length:\t"+protoBytes.length);
            zipEntry.setSize(protoBytes.length);
            zipOut.putNextEntry(zipEntry);
            zipOut.write(protoBytes);
            zipOut.close();
            System.out.println("checksum:"+checkSum.getChecksum().getValue());
            zipBytes = baos.toByteArray();
        } catch (IOException e) {
            e.printStackTrace();
        }

        return zipBytes;
    }



    Consumer Side:
         processConsumerRecord(ConsumerRecord<String, byte[]> record) {
                String key = record.key();
                byte[] dataPacket = record.value();

                ZipInputStream zipIn = new ZipInputStream(new ByteArrayInputStream(dataPacket));

                CheckedInputStream checkSum = new CheckedInputStream(zipIn,
                        new Adler32());
                ZipEntry zipEntry;
                try {
                    zipEntry = zipIn.getNextEntry();
                    while (zipEntry != null) {
                        String name = zipEntry.getName();
                        ByteArrayOutputStream baos = new ByteArrayOutputStream();
                            try {
                                IOUtils.copy(zipIn, baos);
                                byte[] protoBytes = baos.toByteArray();

二进制协议字节是gzip的，所以我需要Gunzip

如果我做gunzip，它不会以gzip格式抛出。

如果我跳过Gunzip并执行parsefrom，我会得到无效的标签异常。

   GZIPInputStream gzip = new GZIPInputStream(
                        new ByteArrayInputStream(baos.toByteArray()));
                        MyProtoObject mpo = null;
                        try {
                            mpo = MyProtoObject.parseFrom(protoBytes);
                        } catch (InvalidProtocolBufferException e1) {
                            e1.printStackTrace();
                        }
                    } catch (IOException e1) {
                        e1.printStackTrace();
                    }

校验和。getChecksum（）。getValue（）在生成和使用zip字节数组时返回1
以下是调试期间zipEntry变量的值：

    producer 
        zipEntry    ZipEntry  (id=44)   
        comment null    
        crc 2147247736  
        csize   86794   
        extra   null    
        flag    2056    
        method  8   
        name    "test.dat" (id=49)  
        size    92931   
        time    1214084891  


    consumer
        zipEntry    ZipEntry  (id=34)   
        comment null    
        crc 2147247736  
        csize   86794   
        extra   null    
        flag    0   
        method  8   
        name    "test.dat" (id=39)  
        size    92931   
        time    1214084891  

我甚至用另一种方法进行了测试，我没有在内存中处理原始字节，而是将zip文件写入磁盘，通过winzip手动提取，然后反序列化提取的二进制原始文件，成功了！！！

我是不是拉错了，让我知道

Answer 1

这里有两件不同的事情：压缩/解压和处理protobuf。听起来这里的问题是第一个问题，听起来好像是破坏了protobuf数据。所以，现在：忘掉protobuf，只专注于压缩/解压。记录原始消息是什么（在压缩之前——可能是二进制文件或base-64块）。现在在接收端，在解压后跟踪二进制文件（同样是二进制文件或base-64块）中的内容。如果它们不是100%完全相同，那么所有其他赌注都是无效的。在成功复制原始二进制文件之前，protobuf是不可能的。

如果这是问题：最好显示您的邮政编码，这样我们就可以看到它。

如果您正确地压缩/解压缩二进制文件，那么问题将出在您的原型代码中。

如果问题是这样的：最好显示您的序列化/反序列化代码，这样我们就可以看到它了。