在同一JVM中运行多个Spark任务有什么好处？

Question

不同的来源（例如1和2）声称Spark可以从在同一JVM中运行多个任务中获益。但他们没有解释原因。

这些好处是什么？

Answer 1

最大的可能优势是共享内存，特别是处理广播对象。因为这些对象被认为是只读的，所以可以在多个线程之间共享。

在使用单个任务/执行器的场景中，您需要为每个JVM提供一个副本，因此对于N个任务有N个副本。对于大型对象，这可能是一个严重的开销。

相同的逻辑可以应用于其他共享对象。

Answer 2

正如已经说过的，广播变量是一回事。

另一个是并发问题。看看这段代码：

var counter = 0
var rdd = sc.parallelize(data)

rdd.foreach(x => counter += x)

println(counter)

结果可能会有所不同，取决于是在本地执行还是在部署在集群上的Spark（使用不同的JVM）上执行。在后一种情况下，并行化方法在执行器之间拆分计算。闭包（每个节点执行任务所需的环境）是计算的，这意味着每个执行器都会收到计数器的副本。每个执行器都会看到自己的变量副本，因此计算的结果为0，因为没有一个执行器引用了正确的对象。另一方面，在一个JVM中，计数器对每个工作人员都是可见的。

当然，有一种方法可以避免这种情况-使用Acumulators（请参阅此处）。

最后但同样重要的是，当在内存中持久化RDDs时（默认的缓存方法存储级别是MEMORY_ONLY），它将在单个JVM中可见。这也可以通过使用OFF_HEAP来克服（这在2.4.0中是实验性的）。更多信息。