1000万数据的Spark性能调优配置

Question

我们正在以下硬件上运行用JAVA编写的SPARK应用程序：

1. 一个主节点
2. 两个Worker节点（每个节点都有502.5 GB可用内存和88个内核（CPU））。

具有以下<代码>配置/spark submit命令：

--执行器内存=30GB--驱动程序内存=20G--执行器内核=5--驱动程序内核=5

我们正在使用SPARK集群管理器。

处理1000万个数据需要13分钟。

我们无权共享应用程序代码。

是否有人可以建议配置以优化我们的应用程序以获得更好的性能？

如果你需要任何其他细节，请告诉我。

我们正在使用SPARK 2.3.0

编辑

我们的数据包含127列和1000万行。spark使用上述配置启动了32个执行器。我们正在flatmap函数中进行外部应用程序调用。

你觉得如果硬件资源不够呢？

Answer 1

如果您在Spark standalone群集上，可以尝试将“executor cores=5”设置设置为较低的设置，如果您的操作不是CPU密集型的，则可以使用更多的执行器。另外，请尝试将“执行器核心总数”（total executor cores）设置为88（或您要提供的核心的最大数量，此参数控制您将拥有的执行器数量），以便更好地控制。