Spark如何利用每台机器中的多核并行性？

Question

我在集群中以独立模式运行Spark（100台机器，每台机器16个CPU核，每台计算机32 GB RAM）。运行任何应用程序时，我指定SPARK_WORKER_MEMORY和SPARK_ WORKER _CORES。

在Spark编程中，我像串行程序一样编程，然后Spark框架自动并行化任务，对吗？

当我用SPARK_WORKER_CORES=16运行程序时，我遇到了OOM崩溃。我用SPARK_WORKER_CORES=4再次尝试，程序成功完成。

当然，通过数据并行利用多个线程需要更大的内存，但我不知道我的 Spark 程序中的哪个函数是由多个线程并行化的。所以我不知道哪个功能负责OOM。

我通过考虑机器的总数和每个工作人员（每台机器）的内存量来控制RDD分区的数量（并行度），以便数据的每个RDD分区都能容纳在内存中。

对RDD进行分区后，机器中的工作线程调用每个RDD分区上的用户定义函数来处理它。

在这里，我有一个问题，Spark如何利用每台机器中的多核并行性？

哪个函数由多个线程并行化？我应该特别注意哪个功能不要在其中使用太多内存？

谢谢

Answer 1

Spark在每个分区上运行您的逻辑(RDD被分割并分布在您的集群中)。每个执行器都有预定义的专用内核数和内存。依靠资源执行器提供任务槽，用于运行驱动程序发送给它们的任务。在最好的情况下，如果执行器上的任务槽可用于处理分区，它会保留该槽，如果不可用，它会使用同一节点上其他执行器的任务槽，最坏的情况是，如果没有可用的任务槽，它会尝试通过网络在集群(机架)级传输运行它。OOM通常发生在你把所有数据聚集到一个地方的时候，比如调用toArray()，collect()的驱动程序，它把你的RDD的所有分区合并到一个节点。另一方面，如果在分区的处理阶段，执行器内存和执行器内存开销超过了容器的总内存，则会在执行器上发生这种情况。