protobuf网络流对象来自磁盘

Question

假设我有一个非常大的对象集合（数百万个），这些对象是根据proto-wire格式序列化的。是否可以从文件中流式处理这些项目？我尝试将对象序列化为列表

我怀疑解决方案需要我知道每个序列化项的大小，然后从流中读取该大小，并将该字节跨度传递给protobuf序列化程序进行反序列化。我想确保没有一种更简单的机制来完成这项任务，这种机制不需要了解每个对象实例中可能不同的单个项目的长度。

我的另一个想法是在流中包含每个即将到来的对象的大小作为它自己的对象，例如：

0：第一个对象的元信息，包括字节中的类型/长度1：在0中定义的对象2：第二个对象的元信息，包括字节中的类型/长度3：在2中定义的对象4：。。。等

版本信息：我目前使用的是dotnet core 3.1和protobuf net版本2.4.4

Answer 1

在protobuf中，根对象在默认情况下不会终止，其目的是允许“merge”=“append”。这与您描述的非常常见的场景相冲突。幸运的是，出于这个原因，许多库提供了一种机制来编码对象之前的长度。您要查找的是SerializeWithLengthPrefix和反序列化WithLengthPrefix方法。