如果Avro模式中包含union，如何将json对象转换为Avro对象

Question

给定的示例模式包含一个字段，该字段是null和string的联合，

    {
  "type":"record",
  "name":"DataFlowEntity",
  "namespace":"org.sdf.manage.commons.server",
  "fields":
  [
    {"name":"dataTypeGroupName","type":["null","string"]},
    {"name":"dataTypeName","type":"string"},
    {"name":"dataSchemaVersion","type":"string"}
  ]
}

我想转换以下 json 对象，

{
  "dataTypeGroupName": "dg_1",
  "dataTypeName": "dt_1",
  "dataSchemaVersion": "1"
}

转换成对应于上述模式的avro对象。我用Avro的JsonDecoder用下面描述的代码snppet试了一下，

    String dataFlowEntity = "{\"dataTypeGroupName\": \"dg_1\", \"dataTypeName\": \"dt_1\", \"dataSchemaVersion\": \"1\"}";
    Schema schema = DataFlowEntity.SCHEMA$;
    InputStream inputStream = new ByteArrayInputStream(dataFlowEntity.getBytes());
    DataInputStream dInputStream = new DataInputStream(inputStream);
    Decoder decoder = DecoderFactory.get().jsonDecoder(schema, dInputStream);
    DatumReader<DataFlowEntity> datumReader = new GenericDatumReader<DataFlowEntity>(schema);
    DataFlowEntity dataFlowEntityObject = DataFlowEntity.newBuilder().build();
    dataFlowEntityObject = datumReader.read(null, decoder);

它会异常失败，

threw exception [org.apache.avro.AvroRuntimeException: org.apache.avro.AvroRuntimeException: Field dataTypeGroupName type:UNION pos:0 not set and has no default value] with root cause
org.apache.avro.AvroRuntimeException: Field dataTypeGroupName type:UNION pos:0 not set and has no default value
  at org.apache.avro.generic.GenericData.getDefaultValue(GenericData.java:874)
  at org.apache.avro.data.RecordBuilderBase.defaultValue(RecordBuilderBase.java:135)

Answer 1

有一个新的JSON编码器正在开发中，应该可以解决这个常见问题：

https://issues.apache.org/jira/browse/AVRO-1582

https://github.com/zolyfarkas/avro

这似乎是很多人在处理Avro时遇到的一个常见问题。

如果您将JSON切换到此，它应该可以工作：

{
  "dataTypeGroupName": {"string" : "dg_1"},
  "dataTypeName": "dt_1",
  "dataSchemaVersion": "1"
}

这是因为Avro使用对象类型包装对联合进行编码，不幸的是，即使是简单的联合也表示可选类型，不需要JSON对象包装来消除歧义。Avro的意图似乎从来不是生成友好的JSON，更重要的是使用JSON作为序列化格式。

更多详情：https://avro.apache.org/docs/1.7.7/spec.html#json_encoding

Answer 2

查看此项目：https://github.com/allegro/hermes/pull/749/files

您对JsonAvroConverter感兴趣。它从json(没有联合类型)反序列化为Avro生成的对象(有联合类型)。实际上，它从union上的类型模式中获取并逐个尝试它们。它在我们的情况下非常有效。

这就是工作：https://github.com/allegro/json-avro-converter/blob/master/converter/src/main/java/tech/allegro/schema/json2avro/converter/JsonGenericRecordReader.java

问候！

Answer 3

如果可以选择使用node.js，则可以使用avsc为您进行转换。使用wrapUnions设置调用clone将自动将值包装到它们匹配的第一个联合分支中。

使用您的示例：

var avsc = require('avsc');

var type =  avsc.parse({
  "type":"record",
  "name":"DataFlowEntity",
  "namespace":"org.sdf.manage.commons.server",
  "fields": [
    {"name":"dataTypeGroupName","type":["null","string"]},
    {"name":"dataTypeName","type":"string"},
    {"name":"dataSchemaVersion","type":"string"}
  ]
}, {wrapUnions: true});

var invalidRecord = {
  "dataTypeGroupName": "dg_1",
  "dataTypeName": "dt_1",
  "dataSchemaVersion": "1"
};

var validRecord = type.clone(invalidRecord, {wrapUnions: true});
// == {
//   "dataTypeGroupName":{"string":"dg_1"},
//   "dataTypeName":"dt_1",
//   "dataSchemaVersion":"1"
// }