创建Spark dataframe时的分区数

Question

我创建一个数据文件，导入一个大约8MB的csv文件，如下所示：

val df = spark.read.option("inferSchema", "true").option("header", "true").csv("Datasets/globalpowerplantdatabasev120/*.csv")

最后，我打印dataframe的分区数：

df.rdd.partitions.size

res5: Int = 2

答案是2。

Answer 1

当您使用Spark读取文件时，分区数将被计算为defaultMinPartitions和根据hadoop输入拆分大小除以块大小计算的拆分数之间的最大值。因为您的文件很小，所以您得到的分区数是2，这是两个分区中的最大值。

默认的defaultMinPartitions计算为

def defaultMinPartitions: Int = math.min(defaultParallelism, 2)

请查看https://github.com/apache/spark/blob/e9f983df275c138626af35fd263a7abedf69297f/core/src/main/scala/org/apache/spark/sparkcontext.scala#l2329