Spark独立模式不将作业分配到其他工作节点
我在独立模式下运行一个火花工作。我已将工作节点配置为连接到主节点。它们成功地连接了，但是当我在spark master上运行作业时，作业没有被分发。我一直收到以下信息-
16/03/21 10:13:52信息Slf4jLogger:Slf4jLogger开始16/03/21 10:13:52信息远程处理：开始远程处理16/03/21 10:13:52信息远程处理：远程处理开始；侦听地址:[Akka.tcp://driverpropsfetcher@10.0.1.194:59715]16/03/21 10:13:52信息：成功启动端口59715上的服务“driver propsfetcher”。
共有1个答案
您可以在Spark上下文中指定特定的驱动程序端口：
spark.driver.port = "port"
val conf = new SparkConf().set("spark.driver.port", "51810")
PS：在worker机器上手动启动spark worker并将其连接到Master时，您不需要Master和spark之间的任何进一步的无身份验证或类似验证。只有在使用主程序启动所有从程序（start-slaves.sh）时，才有必要这样做。所以不应该是一个问题。
-
/usr/local/spark-1.2.1-bin-hadoop2.4/bin/--类com.fst.firststep.aggregator.firststepmessageProcessor--主spark://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:7077--部署模式集群--监督文件：///home/xyz/sparkstreaming-0.0.1
-
如何确定spark独立群集模式上的工作线程数？在独立群集模式下添加工作线程时，持续时间将缩短。 例如，对于我的输入数据3.5 G，WordCount需要3.8分钟。但是，在我添加了一个内存为4 G的工作器后，需要2.6分钟。 增加调谐火花的工人可以吗？我正在考虑这方面的风险。 我的环境设置如下：， 内存128克，16个CPU，用于9个虚拟机 输入数据信息 HDFS中的3.5 G数据文件
-
我试图详细学习JavaEE7，但我在从数据库中获取记录并在JSF页面上显示它们方面遇到了问题。 我使用Wildfly10.1.0和Oracle XE11。我创建了以下数据源： 在JBoss的管理接口中的连接测试是成功的。 这是我的: 当我通过运行WildFly，并通过部署我的应用程序时，它可以工作。 当我在Eclipse中启动服务器并尝试使用相同的命令部署应用程序时，它失败了--因为我添加了JPA
-
我不太确定该怎么写，但我有一个名为的工作，它使用CloudConvert将上传的文件（例如PDF）转换为JPG。 单独使用，效果很好。我可以上传一个文件，它将被保存到S3，然后CloudConvert获取S3文件，转换它并上传它。完美。 有人知道我可以尝试什么吗？我甚至不确定从哪里开始调试它。
-
本文向大家介绍svn 将工作副本切换到其他分支，包括了svn 将工作副本切换到其他分支的使用技巧和注意事项，需要的朋友参考一下 示例 可以快速转换现有的工作副本以反映同一存储库中不同分支的内容。例如，您可能有主干的工作副本，现在需要在开发分支上工作。您可以使用以下svn switch命令来有效地修改现有的工作副本，而不必检出一个全新的工作副本（这会浪费大量时间和磁盘空间）： 现在，您的工作副本将反
-
我有一个向spark独立单节点集群提交spark作业的maven scala应用程序。提交作业时，Spark应用程序尝试使用spark-cassandra-connector访问Amazon EC2实例上托管的cassandra。连接已建立，但不返回结果。一段时间后连接器断开。如果我在本地模式下运行spark，它工作得很好。我试图创建简单的应用程序，代码如下所示： SparkContext.Sca