当前位置: 首页 > 知识库问答 >
问题:

火花启动-从机未连接到主机

盖昀
2023-03-14

当我尝试使用start-slave.sh连接到主服务器时,spark://master:port如这里所述

我正在得到这个错误日志

我尝试使用本地ip和本地名称访问主服务器(我设法同时使用和不使用密码ssh到主服务器、用户和root用户)

谢了!

共有1个答案

皇甫雨石
2023-03-14

发现问题了!

您需要在/conf/spark-env中添加一个文件

增加以下内容:

SPARK_MASTER_IP='<ip of master without port>'
start-master.sh -h <ip of master>:7077
start-slave.sh spark://<master ip>:7077 
 类似资料:
  • 我正试图设置一个小型Spark集群进行测试。该集群由3名工人和一名师傅组成。我在每个节点上设置了Java、scala和Spark。配置文件如下:spark-defaults.conf: Spark-env.sh

  • 我有一个Spark Spark集群,其中主节点也是工作节点。我无法从驱动程序代码节点到达主程序,并得到错误: driver-code节点中的SparkContext配置为: 我可以成功地,但不能成功地。意味着机器可以到达,但端口不能到达。 会有什么问题?我已经为主节点和驱动程序代码运行的节点(客户端)禁用了Ubuntu的防火墙。

  • 我正试图按照官方文档设置一个Spark独立集群。 我的主人在一个运行ubuntu的本地vm上,我也有一个工作人员在同一台机器上运行。它是连接的,我能够在大师的WebUI中看到它的地位。 以下是WebUi图像- 我已经在两台机器上的/etc/hosts中添加了主IP地址和从IP地址。我遵循了SPARK+独立集群中给出的所有解决方案:无法从另一台机器启动worker,但它们对我不起作用。 我在两台机器

  • 我正在研究建立一个JDBC Spark连接,以便从r/Python使用。我知道和都是可用的,但它们似乎更适合交互式分析,特别是因为它们为用户保留了集群资源。我在考虑一些更类似于Tableau ODBC Spark connection的东西--一些更轻量级的东西(据我所知),用于支持简单的随机访问。虽然这似乎是可能的,而且有一些文档,但(对我来说)JDBC驱动程序的需求是什么并不清楚。 既然Hiv

  • 运行命令vc时。sql(testsql),出现以下错误 通用域名格式。液火花沃拉。VoraConfigurationException:未找到ZooKeeper主机 动物园管理员在所有三个节点上启动并运行服务。 错误日志显示以下内容: 2016-09-14 15:14:32418-信息[NIOServerCxn.工厂:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactor

  • 问题内容: 所以我想连接到我在主机上运行的mongodb(DO Drop,Ubuntu 16.04)。它在localhost 的默认端口上运行。 然后,我使用mup将我的Meteor应用程序部署在我的DO Drop上,该DO Drop使用docker在容器内运行Meteor应用程序。到目前为止,一切都很好。使用标准连接URL将应用程序连接到mongodb。现在我有以下问题: 显然不能在docker