分析Protobuf与JSON并遇到数据大小问题

Question

在Java，我的任务是查看JSON格式与Protobuf格式相同的数据的数据大小和处理速度（创建数据的速度）。

对于JSON，我使用了jackson，创建了一个subscriptions类，其中包含一个list map字段，称为subscriptionlist。每个hashmap将对应于一个订阅。我从一个文件中读取，每一行都是“”字段分隔的，有523个字段。我遍历每个字段，为键指定订阅hashmap列名，为值指定列值。我遍历每一行以创建所有1000个订阅，将它们放入arraylist ，然后创建subscriptions，并将subscriptionList设置为具有1000个订阅的arraylist。最后，我将subscriptions对象转换为JSON格式的字符串，并将其写入文本文件，测量文本文件的大小，这就是我测量数据大小的方法。

对于protobuf,.proto文件类似于,

message Subscriptions {
    repeated Subscription subscription = 1;
}
message Subscription {
    map<string, string> attr = 1;
}

我再次遍历每一行和每列，创建1000条订阅消息，然后重复地将订阅消息添加到订阅消息中。然后我使用.getSerializedSize方法，这就是我测量protobuf消息数据大小的方法。

目前，我看到这两种格式给我的数据大小基本相同，我不明白为什么。ProtBuf消息已经在本质上被压缩了一些，而且它们对空间的要求比原始JSON要低。我不知道我做错了什么，我没有想法去尝试。

Answer 1

将映射转换到JSON对象和将同一映射转换到protobuf消息之间不会有太大区别。例如，在protobuf中，对象键周围没有引号，第一级消息周围也没有大括号，但这并没有多大区别，特别是在大型数据集中。

在使用打包重复字段（仅为基元类型）时，您将看到protobuf中的一些差异，因为这些字段被转换为二进制值，因此与JSON中的UTF8编码相比，其大小大大减小。