当前位置: 首页 > 面试题库 >

最初的工作没有接受任何资源;检查您的集群用户界面,以确保工作人员已注册并拥有足够的资源

西门骁
2023-03-14
问题内容

我正在尝试从运行火花示例,Eclipse并得到以下一般性错误:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.

spark-1.6.2-bin-hadoop2.6.使用的版本是我使用./sbin/start-master.shShell中的命令启动spark
,然后将我设置为sparkConf

SparkConf conf = new SparkConf().setAppName("Simple Application");
conf.setMaster("spark://My-Mac-mini.local:7077");

我没有在这里添加任何其他代码,因为此错误在我正在运行的任何示例中都会弹出。这台机器是Mac OSX,我很确定它有足够的资源来运行最简单的示例。

我想念什么?


问题答案:

该错误表明您的集群没有足够的资源用于当前作业。由于尚未启动从属服务器,即worker。集群将没有任何资源可分配给您的工作。启动奴隶将工作。

`start-slave.sh <spark://master-ip:7077>`


 类似资料:
  • 我在Cassandra上创建了一个文本数据选择程序。这是我的代码。这只是一个简单的选择所有数据并显示在控制台。 这是什么意思?难道师傅和工人之间没有减刑?多谢

  • 警告TaskSchedulerImpl:初始作业未接受任何资源;检查集群UI以确保工作人员已注册并具有足够的资源 另外,在Spark UI中,我看到了以下内容: 作业持续运行-火花 编辑: 我检查了HistoryServer,这些作业没有显示在那里(即使在不完整的应用程序中)

  • 当我提交spark作业时: 我不断收到以下警告信息: 本地模式运行成功:

  • 我正在baremetal Kubernetes集群上测试Spark 2.3.1(独立)。我有一个集群,有两个虚拟机,都有8GB的ram和两个内核。我已经部署了一个具有一个主节点和两个从节点的集群。节点日志似乎是正确的,工人被正确地注册到主机: 主日志 工作日志 并且,根据GUI,工作人员似乎已经准备好并能够与主程序通信。 Spark GUI 我已经在spark容器上打开了以下端口: null wo

  • 22.7.2.定义一个新的 source set 要定义一个新的源组, sourceSets {} 块中引用它.下面是一个例子: 例22.5.定义一个新的 source set build.gradle sourceSets { intTest } 当你定义一个新的 source set, java 插件会为该 source set 添加一些如Table 22.6, “Java plugi

  • 22.7.3.一些 source set 的例子 加入含有类文件的 sorce set 的 JAR: 例22.8.为 source set 组装 JAR build.gradle task intTestJar(type: Jar) { from sourceSets.intTest.output } 为 source set 生成 javadoc: 例22.9.为 source set