Apache spark如何计算分区以及如何在执行器中处理分区

Question

我需要一些帮助来了解spark如何决定分区的数量，以及它们在executors中是如何处理的，我很抱歉这个问题，因为我知道这是一个重复的问题，但即使在阅读了许多文章后，我仍然不能理解我正在放上一个我目前正在工作的真实生活用例，以及我的Spark提交配置和集群配置。

我的硬件配置：

< code>3节点计算机，总Vcores=30，总内存=320 GB。

spark-submit config:

spark-submit \
--verbose \
--master yarn \
--deploy-mode cluster \
--num-executors 1  \
--executor-memory 3g \
--executor-cores 2 \
--conf spark.yarn.maxAppAttempts=1 \
--conf spark.yarn.am.attemptFailuresValidityInterval=1h \
--conf spark.driver.memory=1000m \
--conf spark.speculation=true \

我正在使用spark dataframe Jdbc api从MySql数据库读取：

val jdbcTable= sqlContext.read.format("jdbc").options(
            Map(
              "url" -> jdcbUrl,
              "driver" -> "net.sourceforge.jtds.jdbc.Driver",
              "dbtable" ->
                s"(SELECT * FROM SOMETHING WHERE COLUMN > ${lastExtractUnixTime}) as t"))
            .load

jdbcTable DATAFRAME 创建的分区总数为 200

问题：

> < Li > < p > spark如何实现< code>200分区，这是默认设置吗？

因为我只有1个执行器，所以200分区是在单个执行器中并行处理还是一次处理一个分区？

执行器核心是否用于处理具有配置并发性（即 2（在我的情况下）的每个分区中的任务？

Answer 1

>

正如现在编写的那样，Spark将只使用1个分区

如果您看到200个分区，这意味着：

• 代码中没有显示后续的洗牌（交换）。
• 您使用spark.sql.shuffle.partitions的默认值。

并行性将取决于执行计划和分配的资源。它不会高于min（分区数、火花核数）。如果有一个执行器，那么集群管理器将分配给该执行器的线程数。