当前位置: 首页 > 知识库问答 >
问题:

Kubernestes独立spark:spark-shell工作于从机,而不是主机:初始工作没有接受任何资源;

易俊友
2023-03-14

我正在baremetal Kubernetes集群上测试Spark 2.3.1(独立)。我有一个集群,有两个虚拟机,都有8GB的ram和两个内核。我已经部署了一个具有一个主节点和两个从节点的集群。节点日志似乎是正确的,工人被正确地注册到主机:

kubectl exec spark-master cat /opt/spark/logs/spark-logs

主日志

kubectl exec spark-worker1 cat /opt/spark/logs/spark-logs

工作日志

并且,根据GUI,工作人员似乎已经准备好并能够与主程序通信。
Spark GUI

我已经在spark容器上打开了以下端口:

    null

worker用于与master通信的所有端口都在deployment.yml中打开,并且防火墙被禁用。

有人已经经历过那种情况吗?

共有1个答案

葛志国
2023-03-14

我的笔记本电脑上安装了Docker。驱动程序是通过使用Docker NAT启动的。因此,工人无法回答司机,因为他们试图到达docker Verthernet IP。禁用docker解决了这个问题。

 类似资料:
  • 我已经在Drive:/SOFTWARES/wamp文件夹上安装了wamp服务器。 但是在这里,我有一个问题。 只有localhost向我显示wamp索引页。 如果我输入网址,设置为虚拟主机,要么1。当我不使用互联网时,它们显示“无法连接”。2.他们通过网络重定向到一些网址。 我在wamp安装后采取的步骤: 1) 联合国对httpd中的vhost配置行进行了评论。配置文件 3) 在windows的主

  • 我运行的任何spark作业都将失败,并出现以下错误消息 您可以从作业时间线中注意到,它将无限期运行,并且不会添加或删除任何资源。1

  • 好的,我得到UnknownHostKey异常。我不想像这篇文章com.jcraft.jsch.jschException:unknownHostKey那样使用strithostKeyChecking=no来解决问题。我希望JSCH使用系统ssh使用的已知主机文件。有可能吗?

  • 我正试图按照官方文档设置一个Spark独立集群。 我的主人在一个运行ubuntu的本地vm上,我也有一个工作人员在同一台机器上运行。它是连接的,我能够在大师的WebUI中看到它的地位。 以下是WebUi图像- 我已经在两台机器上的/etc/hosts中添加了主IP地址和从IP地址。我遵循了SPARK+独立集群中给出的所有解决方案:无法从另一台机器启动worker,但它们对我不起作用。 我在两台机器

  • 我有一个简单的应用程序,它应该根据提供的URL加载一些简单的JSP页面 http://localhost:9191/mypath/-- 在IntelliJ中使用应用程序时,上述URL按预期工作。 然而,在使用-java-jar应用程序启动应用程序时。jar——Spring。配置。位置=文件:/应用属性,它为上述所有URL返回404。 无法找出原因,如果有人能指出我可能错过的任何东西,我将不胜感激。