Avro模式演进需要访问新旧模式吗？

Question

如果我使用模式版本1序列化一个对象，然后将模式更新为版本2（比如添加一个字段），那么在以后反序列化该对象时是否需要使用模式版本2？理想情况下，我只希望使用模式版本2，并使反序列化对象具有在对象最初序列化后添加到模式中的字段的默认值。

也许一些代码会更好地解释...

架构 1：

{"type": "record",
 "name": "User",
 "fields": [
  {"name": "firstName", "type": "string"}
 ]}

方案2：

{"type": "record",
 "name": "User",
 "fields": [
  {"name": "firstName", "type": "string"},
  {"name": "lastName", "type": "string", "default": ""}
 ]}

使用通用非代码生成方法：

// serialize
ByteArrayOutputStream out = new ByteArrayOutputStream();
Encoder encoder = EncoderFactory.get().binaryEncoder(out, null);
GenericDatumWriter writer = new GenericDatumWriter(schema1);
GenericRecord datum = new GenericData.Record(schema1);
datum.put("firstName", "Jack");
writer.write(datum, encoder);
encoder.flush();
out.close();
byte[] bytes = out.toByteArray();

// deserialize
// I would like to not have any reference to schema1 below here
DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>(schema2);
Decoder decoder = DecoderFactory.get().binaryDecoder(bytes, null);
GenericRecord result = reader.read(null, decoder);

导致EOFException。使用jsonEncoder会导致AvroTypeException。

我知道如果我将schema1和schema2都传递给GenericDatumReader构造函数，它将起作用，但是我希望不必保留所有先前模式的存储库，并且还以某种方式跟踪用于序列化每个特定对象的模式。

我还尝试了code-gen方法，首先使用Schema1生成的User类序列化为文件：

User user = new User();
user.setFirstName("Jack");
DatumWriter<User> writer = new SpecificDatumWriter<User>(User.class);
FileOutputStream out = new FileOutputStream("user.avro");
Encoder encoder = EncoderFactory.get().binaryEncoder(out, null);
writer.write(user, encoder);
encoder.flush();
out.close();

然后将模式更新到版本2，重新生成用户类，并尝试读取文件:

DatumReader<User> reader = new SpecificDatumReader<User>(User.class);
FileInputStream in = new FileInputStream("user.avro");
Decoder decoder = DecoderFactory.get().binaryDecoder(in, null);
User user = reader.read(null, decoder);

但它也会导致EOFEException。

只是为了比较，我试图做的事情似乎与protobufs一起工作......

格式:

option java_outer_classname = "UserProto";
message User {
    optional string first_name = 1;
}

序列 化：

UserProto.User.Builder user = UserProto.User.newBuilder();
user.setFirstName("Jack");
FileOutputStream out = new FileOutputStream("user.data");
user.build().writeTo(out);

将可选的last_name添加到格式化、重新生成UserProto和反序列化：

FileInputStream in = new FileInputStream("user.data");
UserProto.User user = UserProto.User.parseFrom(in);

如预期，＜code＞用户。getLastName（）是空字符串。

这样的事情可以用Avro来做吗？

Answer 1

我试图回避这个问题。我把它放在这里：

我还尝试使用两个模式一个模式只是使用Avro的反射API向另一个模式添加另一列。我有以下模式：

Employee (having name, age, ssn)
ExtendedEmployee (extending Employee and having gender column)

我假设先前有＜code＞Employee

    RecordHandler rh = new RecordHandler();
    if (rh.readObject(employeeSchema, dbLocation) instanceof Employee) {
        Employee e = (Employee) rh.readObject(employeeSchema, dbLocation);
        System.out.print(e.toString());
    } else if (rh.readObject(schema, dbLocation) instanceof ExtendedEmployee) {
        ExtendedEmployee e = (ExtendedEmployee) rh.readObject(schema, dbLocation);
        System.out.print(e.toString());
    }

这解决了这里的问题。但是，我很想知道是否有一个API，我们可以使用＜code＞ExtendedEmployee

Answer 2

要执行您正在尝试执行的操作，您需要通过允许空值使last_name字段成为可选的。last_name的类型应该是["null"，"string"]而不是"string"

Answer 3

Avro和协议缓冲区有不同的方法来处理版本控制，哪种方法更好取决于您的用例。

在协议缓冲区中，您必须用数字显式标记每个字段，这些数字与字段的值一起存储在二进制表示中。因此，只要在后续模式版本中从不更改数字的含义，您仍然可以解码在不同模式版本中编码的记录。如果解码器看到它无法识别的标签号，它可以简单地跳过它。

Avro采用了不同的方法：没有标签号，相反，二进制布局完全由编码程序决定-这是作者的模式。（记录的字段只是以二进制编码的形式一个接一个地存储，没有任何标记或分隔符，顺序由编写者的模式决定。）这使得编码更加紧凑，并且不必在模式中手动维护标记。但这确实意味着，为了阅读，您必须知道写入数据的确切模式，否则您将无法理解它。

如果了解写入器的模式对于解码Avro至关重要，那么读取器的模式就是它之上的一层美好。如果您在需要读取Avro数据的程序中进行代码生成，您可以根据读取器的模式进行编码，这样您就不必在每次写入器的模式更改时重新生成它（假设它以可以解决的方式更改）。但这并不能使您不必了解写入器的模式。

Avro的方法在一个环境中很有用，因为你有很多已知具有完全相同模式版本的记录，因为你可以在文件开头的元数据中包含模式，并且知道接下来的一百万条记录都可以使用该模式解码。这在MapReduce上下文中经常发生，这解释了为什么Avro来自Hadoop项目。

Protocol Buffers的方法可能更适合RPC，其中通过网络发送单个对象（作为请求参数或返回值）。如果您在此处使用Avro，您可能有不同的客户端和不同的服务器，它们都具有不同的模式版本，因此您必须使用它使用的Avro模式版本标记每个二进制编码的blob，并维护模式注册表。此时，您还不如使用Protocol Buffers的内置标记。