Spark：read.jdbc中numPartitions之间的区别（..numPartitions..）和重新分区（..numpartitions..）

Question

我对以下方法中numpartitions参数的行为感到困惑：

1. dataframereader.jdbc
2. dataset.repartition

dataframereader.jdbc的官方文档对numpartitions参数有以下说明

NumPartitions：分区的数量。这与lowerBound（包括）、upperBound（独占）一起，构成了用于平均拆分列columnName的生成WHERE子句表达式的分区步长。

和dataset.repartition的官方文档

dataframereader.jdbc方法中的 numpartition参数控制从数据库读取数据的并行度
1. dataset.repartition中的numpartition参数控制将此dataframe
写入磁盘时生成的输出文件数

我的问题：

• 如果我通过dataframeReader.jdbc读取dataframe，然后将其写入磁盘（不调用repartition方法），那么在调用repartition后将dataframe写入磁盘的dataframe时，输出中的文件还会像调用repartition时那样多吗？
• 如果上述问题的答案是：
  numpartitions是：那么在使用 dataframereader.jdbc方法（带有 numpartitions参数）读取的 dataframe方法上调用 repartition方法是否多余？
  • 不：那么请纠正我理解上的错误。另外，在这种情况下，dataframereader.jdbc方法的numpartitions参数不应该被称为类似于“parallelism”吗？

Answer 1

简而言之：这两种方法中numpartitions参数的行为（几乎）没有区别

read.jdbc(...numpartitions..)

这里，NumPartitions参数控制：

null

回答确切的问题：

如果我通过dataframereader.jdbc读取DataFrame，然后将其写入磁盘（不调用repartition方法），那么在调用了repartition之后，输出中的文件是否仍然与将DataFrame写入磁盘时的文件数量一样多？

是的

除非调用repartition方法的其他变体（接受columnexprsparam的变体），否则对这样的dataframe参数调用repartition(numpartitions)是多余的。但是，我不确定在已经并行化的dataframe上强制相同程度的并行是否也会不必要地调用执行器之间的数据洗牌。一旦我遇到答案就会更新。