使用spark avro跳过记录中的字段

Question

更新：spark avro软件包已更新以支持此场景。https://github.com/databricks/spark-avro/releases/tag/v3.1.0

我有一个AVRO文件，它是由我无法控制的第三方创建的，我需要使用spark进行处理。AVRO模式是一个记录，其中一个字段是混合联合类型：

{    
    "name" : "Properties",                              
    "type" : {                                          
    "type" : "map",                                   
    "values" : [ "long", "double", "string", "bytes" ]
}                                                   

这是不支持的火花avro阅读器：

除了上面列出的类型之外，它还支持读取三种类型的联合类型：联合（int， long）联合（浮动，双）联合（something， null），其中某些是上面列出的受支持的Avro类型之一或受支持的联合类型之一。

在阅读AVRO的模式演变和解决方案时，我希望通过指定一个省略该字段的不同读取器模式，能够在跳过问题字段的同时读取该文件。根据AVRO Schema Resolution docs，它应该可以工作：

如果writer的记录包含一个字段，而该字段的名称不在reader的记录中，那么writer对该字段的值将被忽略。

所以我用

 val df = sqlContext.read.option("avroSchema", avroSchema).avro(path)

其中，avroSchema是作者使用的完全相同的模式，但没有问题字段。

但对于混合并集类型，我仍然会遇到同样的错误。

AVRO支持这种模式演变场景吗？用avro-park？有其他方法可以实现我的目标吗？

更新：我已经用ApacheAvro1.8.1测试了相同的场景（实际上是同一个文件），它可以正常工作。然后它必须与spark avro一起使用。有什么想法吗？

Answer 1

更新：spark avro软件包已更新以支持此场景。https://github.com/databricks/spark-avro/releases/tag/v3.1.0

这实际上并没有回答我的问题，而是为同一个问题提供了不同的解决方案。

由于目前spack-avro is没有这个功能（请参阅我对问题的评论）-我转而使用了avro的org.apache.avro.mapreduce和park的newAPIHadoopFile。这是一个简单的例子：

val path = "..."
val conf = new SparkConf().setAppName("avro test")
  .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 
val sc = new SparkContext(conf)

val avroRdd = sc.newAPIHadoopFile(path,
  classOf[AvroKeyInputFormat[GenericRecord]],
  classOf[AvroKey[GenericRecord]],
  classOf[NullWritable])

与spark avro相反，官方的avro libs支持混合联合类型和模式演化。