DataFrameReader在读取avro文件时抛出“不支持的类型NULL”

Question

我试图用DataFrame读取一个avro文件，但不断得到：

< I > org . Apache . spark . SQL . avro . incompatible schema exception:不支持的类型NULL

因为我打算将它部署在Dataproc上，所以我使用Spark 2.4.0，但是当我尝试其他版本时也发生了同样的情况。

以下是我的依赖关系：

 <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
 </dependencies>

我的主要班级：

public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf()
                .setAppName("Example");

        SparkSession spark = SparkSession
                .builder()
                .appName("Java Spark SQL basic example")
                .getOrCreate();

        Dataset<Row> rowDataset = spark.read().format("avro").load("avro_file");

   }

运行命令：

spark-submit --packages org.apache.spark：spark-avro_2.11：2.4.0 --master local[*] --class MainClass my-spak-app.jar

在运行了大量测试之后，我得出结论，它之所以发生，是因为在我的avro模式中有一个用“type”定义的字段：“null”。我没有创建我正在处理的文件，因此我无法更改架构。当我使用RDD时，我能够读取文件，并使用newAPIHadoopFile方法读取文件。

有没有办法使用Dataframe读取带有“type”：“null”的avro文件，否则我将不得不使用RDD？

Answer 1

您可以在读取文件时指定模式。为您的文件创建一个模式

val ACCOUNT_schema = StructType(List(
    StructField("XXX",DateType,true),
    StructField("YYY",StringType,true))


val rowDataset = spark.read().format("avro").option("avroSchema", schema).load("avro_file");

我对java语法不是很熟悉，但我认为你可以管理它。