Spark如何将切片与任务/执行者/工作者并行？

Question

我有一个2节点的Spark集群，每个节点有4个核心。

        MASTER
(Worker-on-master)              (Worker-on-node1)

null

val slices = 8  // my test value for slices
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)

根据文档：

Spark将为集群的每个部分运行一个任务。通常情况下，集群中的每个CPU需要2-4个片。

我将slices设置为8，这意味着工作集将被划分为集群上的8个任务，反过来每个工作节点得到4个任务（每个核心1：1）

我假设理想情况下，我们应该调优spark_worker_instances，使其与每个节点（在同构集群中）中的核数相对应，以便每个核获得自己的执行器和任务（1：1：1）

Answer 1

我会尽力回答你的问题：

1.-在哪里可以看到任务级别的详细信息？

在提交作业时，Spark将有关任务分解的信息存储在除主节点之外的每个工作节点上。我相信，这些数据存储在Spark目录下的工作文件夹中（我只使用Spark for EC2进行过测试）。

4.-每个CPU 2-4个切片背后的推理

一些节点比其他节点更快地完成任务。拥有比可用核心更多的切片可以均衡地分配任务，避免因节点速度较慢而导致的处理时间过长。