无法让Spark在AWS EMR上使用超过百分之几的资源

Question

我一直试图在集群模式下通过AWS EMR和YARN运行Spark作业，并且没有设置组合导致该作业最多使用可用总资源的百分之几。

val queries =  spark.read.format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("input_file.csv")
  .rdd

val result = queries.map(q => doSomethingWith(q))

以下是所有节点的典型CPU使用率图表（主节点是从20%开始，然后下降的节点，其他节点都是从节点）：

上图是通过以下节点获得的：

Master: 1x r4.2xlarge (8 cores,  61GB RAM)
Slaves: 4x r4.8xlarge (32 cores, 244GB RAM)

使用以下设置运行：

spark-submit --deploy-mode cluster --class Run --master yarn s3://app.jar

Classification      Property                                Value
spark               maximizeResourceAllocation              true
spark-defaults      spark.executor.cores                    10
spark-defaults      spark.dynamicAllocation.enabled         true
spark-defaults      spark.executor.instances                12
spark-defaults      spark.executor.memory                   76g
yarn-site           yarn.nodemanager.resource.memory-mb     245760
yarn-site           yarn.nodemanager.resource.cpu-vcores    30

我试着遵循所有典型的建议，包括Spark文档中的建议、AWS EMR文档中的建议以及Cloudera博客上这篇文章中的建议。

所有这些文章都一致认为Spark不擅长自动使用资源，并且他们指出你必须告诉他（和YARN）它必须使用多少资源。

到目前为止，我的经验是，无论参数和值是什么，火花/纱线都不在乎，CPU使用率图表总是一样的（与上图类似）。

Answer 1

听起来您在工作分区的程度上受到限制：如果文件（. gz？）或数据无法拆分，您将无法获得任何并行性。

如果打开了inferSchema，则Spark将读取整个文件一次，以确定模式是什么，然后返回并重新读取；这在S3上（字面上）很昂贵。spark master将在安排任何工作之前进行端到端的工作。

要尝试的一件事：将初始作业变成一个简单的ETL：load（）. write（）。分区通过（“日期”）。格式（“拼花）。保存（hdfs：//），然后使用该组分区文件用于未来的工作。多个文件-