联合减少JDBC读取并行性

Question

我利用Spark的JDBC功能如下：

< li >将< code>MySQL表读入< code>DataFrame < li >改造他们 < li >合并它们 < li >写给< code>HDFS

在DataFrame的整个生命周期中，没有对其执行操作s。它曾经像预期的那样工作，但最近我遇到了问题。由于Spark的延迟求值，合并导致读取操作的并行性降低。

因此，如果我读取DataFrame使用DataFrameReader.jdbc（…的数字分区…）与的数字分区=42，然后在写入之前将其合并到6个分区，然后它读取DataFrame，并发量仅为6（只触发6个查询到MySQL）。我想重复一下，之前它使用了并行度为42的读取，然后执行coalesce。

我最近在EMR 5.13上迁移到Spark 2.3.0，这可能与此相关吗？有解决方法吗？




Answer 1

匿名用户

由于Spark的惰性评估，合并导致读取操作的并行性降低。

这与懒惰无关合并故意不创建分析障碍：

然而，如果您正在进行剧烈的合并，例如numPartitions=1，这可能会导致您的计算在比您希望的更少的节点上进行（例如，numParttions=1的情况下只有一个节点）。为了避免这种情况，您可以调用重新分区。这将增加一个混洗步骤，但意味着当前上游分区将并行执行（根据当前分区的情况）。

因此，只需遵循文档并使用< code>repartition而不是< code>coalesce。