如果我们减少每个执行器的核数和增加执行器的数，spark如何管理IO性能
根据我的研究，每当我们运行spark作业时，我们不应该运行超过5个核的执行器，如果我们增加超过限制的核，作业将会因为糟糕的I/O吞吐量而受损。
我的疑问是，如果我们增加了执行器的数量，减少了内核，即使这些执行器最终会出现在同一个物理机器中，这些执行器会从同一个磁盘读取和写入同一个磁盘，为什么这不会引起I/O吞吐量问题。
我可以考虑Apache Spark：内核数量与执行程序数量的关系
用例以供参考。
共有1个答案
执行器中的核心就像线程。所以就像我们增加并行度会做更多的工作一样，我们应该时刻记住，它是有限度的。因为我们必须收集这些并行任务的结果。
-
问题内容： 如何从Java（或Scala）代码中配置具有和的执行器数量？我经常看到2个执行者。看起来像是行不通的，并且是与众不同的。 我只需要将执行程序的数量设置为等于集群大小，但是总是只有2个。我知道我的集群大小。如果这很重要，我会在YARN上运行。 问题答案： 好的，我知道了。执行程序的数量实际上不是Spark属性本身，而是用于在YARN上放置作业的驱动程序。因此，当我使用SparkSubmi
-
关于Spark中的性能调优，我有两个问题： > 我理解在spark作业中控制并行性的一个关键因素是正在处理的RDD中存在的分区的数量，然后控制处理这些分区的执行器和内核。我能假定这是真的吗： 执行程序的 #个*#个执行程序核心的<=#个分区。也就是说，一个分区总是在一个执行器的一个核中处理。执行器核数超过分区数是没有意义的 我知道每个执行器拥有高数量的内核可能会对HDFS写操作产生影响，但是我的第
-
我有Spark 2.1.0运行在一个有N个从节点的集群上。每个节点有16个内核（8个内核/cpu和2个cpu）和1个GPU。我想使用map进程启动一个GPU内核。由于每个节点只有1个GPU，我需要确保两个执行器不在同一个节点上（同时）尝试使用GPU，并且两个任务不会同时提交给同一个执行器。 如何强制 Spark 每个节点有一个执行程序？ 我尝试了以下方法: -设置:< code > $ SPARK
-
您从哪里开始调优上面提到的params。我们是从执行器内存开始，得到执行器的数目，还是从核心开始，得到执行器的数目。我跟踪了链接。然而得到了一个高水平的想法，但仍然不确定如何或从哪里开始并得出最终结论。
-
如果我理解正确的话，在静态分配中，当Spark上下文在集群中的所有节点上创建时（在集群模式下），Spark应用程序将获取执行器。我有几个问题 > 如果在所有节点上都获得了执行器，并且在整个应用程序的持续时间内一直分配给这个应用程序，那么是否有很多节点都处于空闲状态？ 在创建Spark上下文而不是在DagScheduler中时获取资源的优势是什么？我的意思是应用程序可以任意长，它只是保存资源。 我检