在Java中使用proto3时，对象中的长值未正确序列化和反序列化

Question

我试图序列化和反序列化一个对象在java中使用Prop3

option java_multiple_files = true;
option java_package = "com.project.dataModel";
option java_outer_classname = "FlowProto";


// The request message containing the user's name.
message Flow {
    string subscriberIMSEI = 1;
    string destinationIP = 2;
    uint64 txBytes = 3;
    uint64 rxBytes = 4;
    uint64 txPkts = 5;
    uint64 rxPkts = 6;
    uint64 startTimeInMillis = 7;
    uint64 endTimeInMillis = 8;
    string asnNumber = 9;
    string asnName = 10;
    string asnCountryCode = 11;

}

下面是我在java中的序列化和反序列化的样子

public class Test {

    public static void main(String[] args) throws Exception {

        Flow flow =
                Flow.newBuilder().setAsnName("abc")
                        .setEndTimeInMillis(123456789L)
                        .setStartTimeInMillis(123456789L)
                .setDestinationIP("1.1.1.1")
                .setTxBytes(1L)
                .setRxBytes(1L)
                .setTxPkts(1L)
                .setRxPkts(1L)
                .setAsnName("blah")
                .setAsnCountryCode("blah")
                .build();

        byte[] flowByteArray = flow.toByteArray();

        String flowString = flow.toByteString().toStringUtf8();

        System.out.println("Parsed from ByteArray:" + Flow.parseFrom(flowByteArray).getEndTimeInMillis());
        System.out.println("Parsed from ByteString:" + Flow.parseFrom(ByteString.copyFromUtf8(flowString))
                .getEndTimeInMillis());
    }
}

我的输出如下

Parsed from ByteArray:123456789
Parsed from ByteString:-4791902657223630865

当我试图使用ByteString和utf-8路由进行序列化和反序列化时，我哪里出错了？

谢谢！

Answer 1

您看到问题的原因是因为您的序列化字节数组被损坏。发生这种情况是因为UTF-8是一个可变长度编码，转换为UTF-8字符串会改变原始数组中的字节。当您执行flow.toByteString（）。toStringUtf8（）时，原始字节串中的一个字节可能会转换为具有不同值的三个新字节。然后当您执行ByteString.copyFromUtf8（流字符串）时，字节更改不会撤销，因为该行代码实际上只是检索转换后的UTF-8字节，而不是您输入的原始字节。

下面是一个小测试，它说明了您看到的问题

@Test
public void byteConsistency() {
  byte[] vals = new byte[] {0, 110, -1};
  ByteString original = ByteString.copyFrom(vals);
  ByteString newString = ByteString.copyFromUtf8(original.toStringUtf8());

  for (int index = 0; index < newString.size(); index++) {
    System.out.println(newString.byteAt(index));
  }
}

你会期望这个代码输出

0
110
-1

但它实际上输出

0
110
-17
-65
-67

这是因为UTF-8可能要求将-1（0xFF）字节编码为三个字节[-17、-65、-67]。

总之，在处理原型时，不要将序列化的对象转换成UTF-8字符串。只使用原始字节进行序列化和反序列化。如果您尝试转换成UTF-8字符串，序列化的字节将被损坏，您将无法对它们进行反序列化。