datricks avro模式不能转换为SparkSQL结构类型

Question

我们有kakfa hdfs连接器以默认avro格式写入hdfs。示例o/p：

obj^A^B^Vavro.schema"["null"，"string"]^@$ͳø{

尝试使用以下方式阅读：

import com.databricks.spark.avro._
    val df = spark.read.avro("..path to avro file")

我们得到以下错误

JAVAlang.RuntimeException:无法在com上将Avro架构转换为Spark SQL StructType:[“null”，“string”]。databricks。火花阿夫罗。DefaultSource。org上的inferSchema（DefaultSource.scala:93）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$7。在org上申请（DataSource.scala:184）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$7。在scala上应用（DataSource.scala:184）。选项orElse（Option.scala:289），网址：org。阿帕奇。火花sql。处决数据源。数据源。org$apache$spark$sql$execution$datasources$DataSource$$getOrInferFileFormatSchema（DataSource.scala:183）位于org。阿帕奇。火花sql。处决数据源。数据源。resolveRelation（DataSource.scala:387）位于org。阿帕奇。火花sql。DataFrameReader。在org上加载（DataFrameReader.scala:152）。阿帕奇。火花sql。DataFrameReader。在com上加载（DataFrameReader.scala:135）。databricks。火花阿夫罗。套餐$AvroDataFrameReader$$anonfun$avro$2。在com上申请（package.scala:34）。databricks。火花阿夫罗。套餐$AvroDataFrameReader$$anonfun$avro$2。申请（套餐：scala:34）

请帮忙

Spark版本：2.11

Spark avro版本：2.11-3.2.0

Kafka版本：0.10.2.1

Answer 1

您的avro格式文件不正确。架构的类型必须为：record。我无法附加一个有效的avro格式的文件抱歉。但你可以参考这个链接。Avro格式文件示例

avro.schema¨{"type":"record"

从火花来看，你所做的一切都是好的。

import com.databricks.spark.avro._
sqlContext.read.avro(..paht of file)