在Spark 2.1.0中启用\u元数据文件

Question

Spark 2.1.0似乎破坏了保存空拼花文件的功能，因为无法再次读取它们（由于错误的模式推断）

我发现，由于Spark 2.0，在编写拼花文件时，默认情况下会禁用写入\u元数据文件。但我找不到配置设置来重新启用此功能。

我尝试了以下方法：

spark_session = SparkSession.builder \
                        .master(url) \
                        .appName(name) \
                        .config('spark.hadoop.parquet.enable.summary-metadata', 'true') \
                        .getOrCreate()

还有一些完全不同的组合，没有火花。例如hadoop。

我试图在PySpark中运行的代码：

spark_session = session.get_session()
sc = spark_session.sparkContext

df = spark_session.createDataFrame(sc.emptyRDD(), schema)

df.write.mode('overwrite').parquet(path, compression='none')

# this works
df = spark_session.read.schema(schema).parquet(path)

# This throws an error
df = spark_session.read.parquet(path)

Answer 1

这是sc.emptyRDD（）的行为问题。您可以在上找到更多信息https://github.com/apache/spark/pull/12855为什么会发生这种行为。

当前的解决方案是执行以下操作：df=spark_session.createDataFrame（sc.emptyRDD（）， Schema）. re分区（1），并且仍然具有问题中提到的配置设置。