火花主机：7077无法到达
我有一个Spark Spark集群，其中主节点也是工作节点。我无法从驱动程序代码节点到达主程序，并得到错误：
14:07:10警告client.appclient$clientendpoint:无法连接到master主机：7077
driver-code节点中的SparkContext配置为:SparkConf conf=new SparkConf（true）.setmaster(Spark:master-machine//:7077)；
我可以成功地ping master-machine，但不能成功地telnet master-machine7077。意味着机器可以到达，但端口不能到达。
会有什么问题？我已经为主节点和驱动程序代码运行的节点（客户端）禁用了Ubuntu的ufw防火墙。
共有1个答案
您的语法有点错误，您有：
setMaster(spark:master-machine//:7077)
您想要：
setMaster(spark://master-machine:7077)
来自Spark文档：
spark.master spark://5.6.7.8:7077
-
我正试图设置一个小型Spark集群进行测试。该集群由3名工人和一名师傅组成。我在每个节点上设置了Java、scala和Spark。配置文件如下：spark-defaults.conf： Spark-env.sh
-
当我尝试使用start-slave.sh连接到主服务器时，spark：//master：port如这里所述 我正在得到这个错误日志 我尝试使用本地ip和本地名称访问主服务器（我设法同时使用和不使用密码ssh到主服务器、用户和root用户） 谢了！
-
我正在尝试优化我的火花应用工作。 我试图理解这个问题的要点:如何在唯一键上连接数据帧时避免混乱？ > 我已经确保必须发生加入操作的键分布在同一分区中（使用我的自定义分区程序）。 我也不能做广播加入，因为我的数据可能会根据情况变大。 在上面提到的问题的答案中，重新分区只优化了连接，但我需要的是无需切换即可连接。在分区内的键的帮助下，我对连接操作很满意。 有可能吗？如果不存在类似的功能，我想实现像jo
-
运行命令vc时。sql（testsql），出现以下错误 通用域名格式。液火花沃拉。VoraConfigurationException：未找到ZooKeeper主机 动物园管理员在所有三个节点上启动并运行服务。 错误日志显示以下内容： 2016-09-14 15:14:32418-信息[NIOServerCxn.工厂：0.0.0.0/0.0.0.0:2181：NIOServerCnxnFactor
-
我想从Spark v.1.6（使用scala）数据帧创建一个JSON。我知道有一个简单的解决方案，就是做。 但是，我的问题看起来有点不同。例如，考虑具有以下列的数据帧： 我想在最后有一个数据帧 其中C是包含、、的JSON。不幸的是，我在编译时不知道数据框是什么样子的（除了始终“固定”的列和）。 至于我需要这个的原因：我使用Protobuf发送结果。不幸的是，我的数据帧有时有比预期更多的列，我仍然会
-
SMTP错误：无法连接到SMTP主机。无法发送消息。 邮件程序错误：SMTP错误：无法连接到SMTP主机。 我似乎找不到让PHPMailer在CentOS下工作的方法。邮件在XAMPP的Windows下工作正常，但我总是在Linux下遇到这个错误。 SMTP服务器是一个在端口25上侦听的Lotus Domino，CentOS机器根本没有防火墙，奇怪的是，即使是mail（）也不能工作。它不返回任何内