我正在尝试从运行火花示例,Eclipse
并得到以下一般性错误:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.
我spark-1.6.2-bin-hadoop2.6.
使用的版本是我使用./sbin/start-master.sh
Shell中的命令启动spark
,然后将我设置为sparkConf
:
SparkConf conf = new SparkConf().setAppName("Simple Application");
conf.setMaster("spark://My-Mac-mini.local:7077");
我没有在这里添加任何其他代码,因为此错误在我正在运行的任何示例中都会弹出。这台机器是Mac OSX,我很确定它有足够的资源来运行最简单的示例。
我想念什么?
该错误表明您的集群没有足够的资源用于当前作业。由于尚未启动从属服务器,即worker。集群将没有任何资源可分配给您的工作。启动奴隶将工作。
`start-slave.sh <spark://master-ip:7077>`
我在Cassandra上创建了一个文本数据选择程序。这是我的代码。这只是一个简单的选择所有数据并显示在控制台。 这是什么意思?难道师傅和工人之间没有减刑?多谢
警告TaskSchedulerImpl:初始作业未接受任何资源;检查集群UI以确保工作人员已注册并具有足够的资源 另外,在Spark UI中,我看到了以下内容: 作业持续运行-火花 编辑: 我检查了HistoryServer,这些作业没有显示在那里(即使在不完整的应用程序中)
当我提交spark作业时: 我不断收到以下警告信息: 本地模式运行成功:
我正在baremetal Kubernetes集群上测试Spark 2.3.1(独立)。我有一个集群,有两个虚拟机,都有8GB的ram和两个内核。我已经部署了一个具有一个主节点和两个从节点的集群。节点日志似乎是正确的,工人被正确地注册到主机: 主日志 工作日志 并且,根据GUI,工作人员似乎已经准备好并能够与主程序通信。 Spark GUI 我已经在spark容器上打开了以下端口: null wo
22.7.2.定义一个新的 source set 要定义一个新的源组, sourceSets {} 块中引用它.下面是一个例子: 例22.5.定义一个新的 source set build.gradle sourceSets { intTest } 当你定义一个新的 source set, java 插件会为该 source set 添加一些如Table 22.6, “Java plugi
22.7.3.一些 source set 的例子 加入含有类文件的 sorce set 的 JAR: 例22.8.为 source set 组装 JAR build.gradle task intTestJar(type: Jar) { from sourceSets.intTest.output } 为 source set 生成 javadoc: 例22.9.为 source set