警告cluster.yarnScheduler：初始作业尚未接受任何资源

Question

我运行的任何spark作业都将失败，并出现以下错误消息

您可以从作业时间线中注意到，它将无限期运行，并且不会添加或删除任何资源。1

Answer 1

第一点是，如果有足够的资源，如节点、CPU和内存可用于yarn，它可以使用动态分配来创建具有适当默认内核和内存分配的spark worker。

在我的情况下，我需要关闭动态分配，因为我的资源水平非常低。

因此，我在pyspark中设置了以下值：

conf = (SparkConf().setAppName("simple")
        .set("spark.shuffle.service.enabled", "false")
        .set("spark.dynamicAllocation.enabled", "false")
        .set("spark.cores.max", "1")
        .set("spark.executor.instances","2")
        .set("spark.executor.memory","200m")
        .set("spark.executor.cores","1")

null

集群模式不太适合交互地使用Spark。需要用户输入的Spark应用程序，如spark-shell和pyspark，需要Spark驱动程序在启动Spark应用程序的客户端进程中运行。

客户端模式可以在环境中设置如下
export pyspark_submit_args='--master yarn--deploy-mode Client pyspark-shell'