加载parquet文件并保持相同数目的hdfs分区

Question

hdfs dfs -du -s -h /df
5.1 G  15.3 G  /df

hdfs dfs -du -h /df
43.6 M  130.7 M  /df/pid=0
43.5 M  130.5 M  /df/pid=1
...
43.6 M  130.9 M  /df/pid=119

df = spark.read.parquet('df')
df.rdd.getNumPartitions()

60

HDFS设置：

'parquet.block.size'未设置。

sc._jsc.hadoopConfiguration().get('parquet.block.size')

不返回任何内容。

float(sc._jsc.hadoopConfiguration().get("dfs.blocksize"))/2**20

128

sc._jsc.hadoopConfiguration().setInt("parquet.block.size", 64*2**20)
sc._jsc.hadoopConfiguration().setInt("dfs.blocksize", 64*2**20)

我试图避免自己在加载后不得不在应用程序中重新分区。

是否有一种方法可以强制Spark用存储在HDFS上的相同数量的分区加载parquet文件？

Answer 1

首先，我将从检查Spark如何将数据拆分到分区开始。默认情况下，它取决于数据和集群的性质和大小。本文将为您提供为什么将数据帧加载到60个分区的答案：

https://umbertogriffo.gitbooks.io/apache-spark-best-practices-and-tuning/content/sparksqlshufflepartitions_draft.html

总的来说，它的催化剂负责所有的优化（包括分区数量），所以除非确实有很好的理由进行自定义设置，否则我会让它完成它的工作。如果您使用的任何转换都是宽的，Spark无论如何都会洗牌数据。