Parquet分区中同一列中不同类型的数据

Question

我从S3读取PARQUET文件时出错，原因是“final_height”列在同一个分区中有String和Double类型。供参考，拼花文件中有20多列。我得到的错误是：

ERROR 1: Failed merging schema of file ".../part1.gz.parquet":

ERROR 2: Caused by: org.apache.spark.SparkException:
Failed to merge fields 'final_height' and 'final_height'. Failed to merge incompatible data types double and string

ERROR 3: com.databricks.sql.io.FileReadException:
Error while reading file ".../part1.gz.parquet".
Parquet column cannot be converted. Column: [final_height], Expected: StringType, Found: DOUBLE

ERROR 4: com.databricks.sql.io.FileReadException:
Error while reading file ".../part1.gz.parquet".
Parquet column cannot be converted. Column: [final_height], Expected: DoubleType, Found: BINARY

ERROR 5: org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException

当"part1.gz.parquet"有X列的字符串数据，而"part2.gz.parquet"在同一列中有双精度数据时，找到了一些解决方案。但是当在同一分区中发现同一列中的不同类型时，它们不起作用。

试：

• 使用合并模式和推断模式选项读取（得到错误1

希望有一些解决方案：）

谢啦！

Answer 1

理想的方法是将整个数据帧读取为二进制（数组[Byte]）数据类型，然后将相应的值转换为其兼容的数据类型。然而，Spark不允许将双数据类型读取为二进制数据类型。因此无法继续采用这种方法。

一种方法是将Spark属性“Spark . SQL . files . ignorecoruperfiles”设置为true，然后读取具有所需模式的文件。与指定模式不匹配的文件将被忽略。结果数据集只包含与指定架构匹配的文件中的数据。因此读取两个数据帧，一个具有字符串数据类型，另一个具有双精度数据类型，然后将其中任何一个转换为单个数据类型，最后将它们联合。

val stringSchema = StructType(StructField("final_height", StringType, false) :: Nil)
val doubleSchema = StructType(StructField("final_height", DoubleType, false) :: Nil)

spark.conf.set("spark.sql.files.ignoreCorruptFiles", "true")

val stringDF = spark.read.schema(stringSchema).parquet("path/")
val doubleDF = spark.read.schema(doubleSchema).parquet("path/")
//Cast to compatible type
val doubleToStringDF = doubleDF.select(col("final_height").cast(StringType))

val finalDF = stringDF.union(doubleToStringDF)