如何在具有不同内存和核心的集群上调优spark作业

Question

我正在进行一个spark项目，我使用的是一个由3个节点组成的hadoop集群，配置如下：

>

8cores和16go Ram(Namenode、Application Master、nodemanager和spark Master和worker）。

4core和8go Ram（datanode,nodemanager和worker）

4cores和4go Ram(datanode、nodemanager和worker)，所以我使用以下配置：

pyspark--主纱--客户端--驱动程序--内存3g--执行器--内存1g--num-执行器3--执行器--核心1

Answer 1

这本质上归结为您需要处理数据的多少。如果您有整个群集来处理数据，则可以完全使用。

pyspark--主纱--客户端--驱动程序--内存3g--执行器--内存1g--num-执行器3--执行器--核心1

这里您没有使用完整的集群。您使用的是3gb驱动程序和1 gb执行程序，其中有3个执行程序，这意味着总共有3gb内存，而集群中有12 gb内存和8个内核。您可以尝试的一种替代配置

pyspark--主纱--客户端--驱动程序--内存8g--执行器--内存3g--num-执行器4--执行器--核心3

这使用完整的集群。

然而，执行器-内存配置主要基于作业需求。您需要通过多次尝试来调整它。您可以检查此文档进行调优。