火花聚结与执行器和核心数量的关系
我提出了一个关于Spark的非常愚蠢的问题，因为我想澄清我的困惑。我对Spark非常陌生，仍在努力理解它在内部是如何工作的。
比方说，如果我有一个输入文件列表（假设1000），我想在某个地方处理或写入，并且我想使用coalesce将我的分区数减少到100。
现在我用12个执行器运行这个作业，每个执行器有5个内核，这意味着它运行时有60个任务。这是否意味着，每个任务将在一个单独的分区上独立工作？
回合:1 12个执行者，每个有5个核心=
处理 40 个分区和 4 个执行程序中的其余部分，从不第二次放置作业
还是来自同一个执行器的所有任务都将在同一个分区上工作？
回合：1:12执行者=
共有1个答案
比方说，如果我有一个输入文件列表（假设1000），我想在某个地方处理或写入，并且我想使用coalesce将我的分区数减少到100。
在spark中，默认情况下分区数=hdfs块，因为指定了
现在我用12个执行器运行这个作业，每个执行器有5个内核，这意味着它运行时有60个任务。这是否意味着，每个任务将在一个单独的分区上独立工作？
因为你通过了可能会通过。
--num-执行器12：在应用程序中启动的执行器数量。
< code> - executor-cores 5:每个执行器的核心数。一个内核=一次一个任务
所以分区的执行会像这样。
12个分区将由12个执行器处理，每个执行器有5个任务(线程)。
12个分区将由12个执行器处理，每个执行器有5个任务（线程）
.
.
。
4个分区将由4个执行器处理，每个执行器有5个任务（线程）
注意：通常，某些执行程序可能会快速完成分配的工作（各种参数，如数据局部性、网络 I/O、CPU 等）。因此，它将通过等待配置的调度时间来选择要处理的下一个分区。
-
您从哪里开始调优上面提到的params。我们是从执行器内存开始，得到执行器的数目，还是从核心开始，得到执行器的数目。我跟踪了链接。然而得到了一个高水平的想法，但仍然不确定如何或从哪里开始并得出最终结论。
-
需要进行一些运行时澄清。 在我读到的其他地方的一个线程中，有人说Spark Executor应该只分配一个核心。然而，我想知道这是否真的永远是真的。阅读各种so问题和诸如此类的问题，以及Karau、Wendell等人的著作，可以清楚地看到，有相同或相反的专家指出，在某些情况下，每个执行者应该指定更多的内核，但讨论往往更多的是技术性的，而不是功能性的。也就是说，缺少功能性的例子。 > 我的理解是RD
-
我不明白的是，当我提交作业并指定： 应该只占用4个核心。然而，当提交作业时，它将使用所有16个内核，并跳过参数而旋转8个执行器。但是，如果我将参数更改为，它将相应地调整，4个executors将向上旋转。
-
我有一个Spark集群运行在hdfs之上的纱线模式。我启动了一个带有2个内核和2G内存的worker。然后我提交了一个具有3个核心的1个执行器动态配置的作业。不过，我的工作还能运转。有人能解释启动worker的内核数量和为执行者请求的内核数量之间的差异吗。我的理解是，由于执行者在工人内部运行，他们无法获得比工人可用的资源更多的资源。
-
Apache Spark：核心数与执行器数 由于每个案例都不一样，我又问了一个类似的问题。 我正在运行一个cpu密集型的应用程序，具有相同数量的核心和不同的执行器。以下是观察结果。 更新 案例3：执行器-12个，每个执行器的核心数-1个，执行器内存-3个，数据处理量-10 GB,分区-36个，作业持续时间：81分钟
-
我对spark有疑问：HDFS块vs集群核心vs rdd分区。 假设我正在尝试在HDFS中处理一个文件（例如块大小为64MB，文件为6400MB）。所以理想情况下它确实有100个分裂。 我的集群总共有 200 个核心，我提交了包含 25 个执行程序的作业，每个执行程序有 4 个核心（意味着可以运行 100 个并行任务）。 简而言之，我在rdd中默认有100个分区，100个内核将运行。 这是一个好方