强制驱动程序在spark独立集群中的特定从机上运行，该集群运行“--deploy-mode cluster”
共有1个答案
我可以看出这是一个老问题，但让我回答它，有人可能会发现它有用。
在提交应用程序时，将--driver-java-options=“-dspark.driver.host=
选项添加到spark-submit脚本中，Spark应该将驱动程序部署到指定的主机上。
-
我已经在Kubernetes上建立了Spark独立集群，并试图连接到Kubernetes上没有的Kerberized Hadoop集群。我已经将core-site.xml和hdfs-site.xml放在Spark集群的容器中，并相应地设置了HADOOP_CONF_DIR。我能够成功地在Spark容器中为访问Hadoop集群的principal生成kerberos凭据缓存。但是当我运行spark-s
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：
-
我的Spark 2.3.3集群运行良好。我在“http：//master-address：8080”上看到了GUI，其中有2个空闲的工作人员。 我有一个Scala应用程序，它创建上下文并启动作业。我不使用spark-submit，我以编程方式开始工作，这是许多答案与我的问题不同的地方。 在“my-app”中，我创建了一个新的SparkConf，代码如下（略有缩写）： 司机跑到哪里去了？我如何找到它
-
我是一名spark/纱线新手，在提交纱线集群上的spark作业时遇到exitCode=13。当spark作业在本地模式下运行时，一切正常。 我使用的命令是： Spark错误日志：
-
应用程序不是那么占用内存，有两个连接和写数据集到目录。同样的代码在spark-shell上运行没有任何失败。 寻找群集调优或任何配置设置，这将减少执行器被杀死。
-
我正试图按照官方文档设置一个Spark独立集群。 我的主人在一个运行ubuntu的本地vm上，我也有一个工作人员在同一台机器上运行。它是连接的，我能够在大师的WebUI中看到它的地位。 以下是WebUi图像- 我已经在两台机器上的/etc/hosts中添加了主IP地址和从IP地址。我遵循了SPARK+独立集群中给出的所有解决方案：无法从另一台机器启动worker，但它们对我不起作用。 我在两台机器