Spark性能优化-执行器的数量与内核的数量

Question

关于Spark中的性能调优，我有两个问题：

>

我理解在spark作业中控制并行性的一个关键因素是正在处理的RDD中存在的分区的数量，然后控制处理这些分区的执行器和内核。我能假定这是真的吗：

执行程序的
• #个*#个执行程序核心的<=#个分区。也就是说，一个分区总是在一个执行器的一个核中处理。执行器核数超过分区数是没有意义的

我知道每个执行器拥有高数量的内核可能会对HDFS写操作产生影响，但是我的第二个问题是，纯粹从数据处理的角度来看，两者之间有什么区别？例如，如果我有10个节点集群，这两个作业之间的区别是什么（假设每个节点有足够的内存来处理所有事情）：

>

5个执行程序*2个执行程序核心

假设有无限大的内存和CPU，从性能的角度来看，我们是否应该期望上述两者的性能相同呢？

Answer 1

大多数情况下，使用更大的执行器（更多的内存、更多的内核）会更好。第一：更大的执行器和更大的内存可以很容易地支持广播连接和取消shuffle。第二：由于任务的创建不是相等的，统计上较大的执行者在OOM问题中有更好的生存机会。大型执行程序的唯一问题是GC暂停。G1GC有帮助。