火花读阿夫罗

Question

正在尝试读取avro文件。

val df = spark.read.avro(file)

无法将运行到Avro架构的数据转换为Spark SQL StructType:[“null”，“string”]

尝试手动创建架构，但现在遇到以下情况：

val s = StructType(List(StructField("value", StringType, nullable = true)))

val df = spark.read
  .option("inferSchema", "false")
  .schema(s)
  .avro(file)

通用域名格式。databricks。火花阿夫罗。SchemaConverters$CompatibleSchemaException:无法将Avro架构转换为catalyst类型，因为路径处的架构不兼容（avroType=StructType（StructField（value，StringType，true）），sqlType=STRING）。源Avro架构：[“null”，“string”]。目标催化剂类型：StructType（StructField（值、StringType、true））

试图覆盖avro模式（没有null）也不起作用：

val df = spark.read
  .option("inferSchema", "false")
  .option("avroSchema", """["string"]""")
  .avro(file)

Avro模式不能转换为火花SQL结构类型：["字符串"]

看起来spark avro只创建了一个GenericDatumReader[GenericRecord]，我需要一个GenericDatumReader[Utf8]：(

Answer 1

请确保您提供的数据类型是正确的AVSC。["null"，"String"]用于处理Avro数据中的空值。您可以通过以下方式创建Avro文件的架构：-

val schema = new Schema.Parser().parse(new File("user.avsc")

或者，如果您有Java模式文件，则可以通过以下操作获取模式：-

val schema = Schema.getClassSchema

现在，一旦你有了这个模式，用它构建一个数据框架就非常简单了。代码片段：-

val df =sparkSession.read.format("com.databricks.spark.avro")
      .option("avroSchema", schema.toString)
      .load("/home/garvit.vijay/000009_0.avro")

df.printSchema()
df.show()

希望对你有用。