Spark Avro到拼花地板在数字字段中写入空值

Question

我将火花数据框保存为拼花文件，数据框具有从avro对象构建的行。相同的确切html" target="_blank">代码在这里-https://stackoverflow.com/a/41491999/2440775

我面临的挑战是，我希望能够在传入数据中缺少整数字段时具有空值。Avro似乎允许使用Union类型，但当我不指定默认值或在avsc中指定默认值为"null"时，我会得到以下错误：

Caused by: org.apache.avro.AvroRuntimeException: Field xxx type:LONG pos:7 not set and has no default value
    at org.apache.avro.generic.GenericData.getDefaultValue(GenericData.java:984)
    at org.apache.avro.data.RecordBuilderBase.defaultValue(RecordBuilderBase.java:135)

Or

Caused by: org.apache.avro.AvroRuntimeException: Field xxx type:UNION pos:7 not set and has no default value
    at org.apache.avro.generic.GenericData.getDefaultValue(GenericData.java:984)
    at org.apache.avro.data.RecordBuilderBase.defaultValue(RecordBuilderBase.java:135)

如果我写一个默认值“0”，那么it saveAspQuet工作得很好

我还尝试更改avro规范，使其首先具有“null”类型，因为union选择了第一个元素的类型。

"type": ["null","long"], "default": null

这会导致以下异常：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost): java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Long

在avro模式中更改long和null的顺序会导致以下异常

引起原因：org.apache.avro.AvroTypeExc0019：非数值默认值为long：null

Answer 1

我没有这样的解决方案，但找到了一个解决方法。我从avro对象构建行的方式是从avro对象创建一个列表，然后执行一行。关于那件事。解决方法检查默认值0和数据类型int或long。如果是默认值，则添加null。因此，在选择默认值时必须小心。

public static List avroToList(AvroData a) throws UnsupportedEncodingException{
        List l = new ArrayList<>();
        for (Schema.Field f : a.getSchema().getFields()) {
            Object value = a.get(f.name());
            if (value == null) {
                l.add(null);
            }
            else {
                switch (f.schema().getType().getName()){
                    case "union":
                        l.add(value.toString());
                        break;

                    case "int":
                        if(value == 0) {l.add(null);}
                        else {l.add(Integer.valueOf(value.toString()));}
                      break;

                    case "long":
                        if(value == 0L) {l.add(null);}
                        else {l.add(Long.valueOf(value.toString()));}
                        break;

                    default:l.add(value);
                        break;
                }

            }
        }
        return l;
    }

avsc文件的类型信息如下

"type": "long",  "default": 0