火花有多少JVM运行在带有多个应用程序的worker上

Question

spark.executor.cores=2 spark.executor.memory=10GB

现在Spark在每个worker节点上启动一个Executor的JVM，对吗？

然后，在第一个会话使用configs进行之前，启动另一个Spark应用程序/会话

sstsp.spark.shuffle.service.enabled=true
sstsp.spark.dynamicAllocation.enabled=true
sstsp.spark.dynamicAllocation.maxExecutors=35
sstsp.spark.executor.cores=2
sstsp.spark.executor.memory=2GB

JVM的开销有多大？我的意思是，在用例2中，节点的RAM被分成7个JVM时，有多少RAM不会用于计算目的？

Answer 1

正如您提到的，每个工作节点都有2个核心，因此通过设置executor cores=2，每个工作节点将只有1个executor。

用例1

1）5个工作节点=5个执行器

如果在内存丰富的节点上以独立模式运行Spark，那么在同一个节点上有多个工作实例可能是有益的，因为非常大的堆大小有两个缺点：

• 垃圾回收器暂停会损害Spark作业的吞吐量。
• 堆大小>32 GB不能使用Compressedooops。

Mesos和YARN可以开箱即用，支持将多个较小的执行器打包到同一个物理主机上，因此请求较小的执行器并不意味着您的应用程序将拥有较少的整体资源。