火花纱模式如何从火花提交中获得应用程序
当我使用spark-submit with master yarn和deploy-mode cluster提交spark作业时，它不会打印/返回任何applicationId，一旦作业完成，我必须手动检查MapReduce jobHistory或spark HistoryServer来获取作业细节。
我的集群被许多用户使用，在jobHistory/HistoryServer中找到我的作业需要很多时间。
共有1个答案
以下是我用来实现这一点的方法：
- 将应用程序Id保存到HDFS文件中。(@张彤在评论中建议）。
- 从驱动程序发送带有applictionId的电子邮件警报。
-
我可以从IDE（远程）编程运行这个程序吗？我使用Scala-IDE。我寻找一些代码来遵循，但仍然没有找到合适的 我的环境:-Cloudera 5.8.2[OS redhat 7.2,kerberos 5,Spark2.1,scala 2.11]-Windows 7
-
我正在从我的开发机器上启动spark-submit。 根据在YARN文档上运行Spark，我应该在env var或上为hadoop集群配置提供一个路径。这就是它变得棘手的地方：如果我将任务发送到远程YARN服务，为什么这些文件夹必须存在于我的本地机器上？这是否意味着spark-submit必须位于集群内部，因此我不能远程启动spark任务？如果没有，我应该用什么填充这些文件夹？我应该从任务管理器服
-
一些脚本在工作时什么也不做，当我手动运行它们时，其中一个失败了，出现了以下消息： 错误SparkUI：未能绑定SparkUI java.net.bindexception：地址已在使用：服务“SparkUI”在重试16次后失败！ 所以我想知道是否有一种特定的方法来并行运行脚本？
-
嗨，我正在尝试生成Salt示例的输出，但没有使用文档中提到的docker。我找到了帮助生成输出的scala代码，这是main.scala。我将main.scala修改为一个方便的main.scala, 我为这个scala创建了一个单独的文件夹, calac-cp“lib/salt.jar：lib/spark.jar”main.scala 这已成功运行并在文件夹BinexTest下生成类。 现在,项
-
我已经在一个15节点的Hadoop集群上安装了。所有节点都运行和最新版本的Hadoop。Hadoop集群本身是功能性的，例如，YARN可以成功地运行各种MapReduce作业。 我可以使用以下命令在节点上本地运行Spark Shell，而不会出现任何问题:。 你知道为什么我不能用客户端模式在纱线上运行Spark Shell吗？
-
我试图通过以下命令向CDH纱线集群提交spark作业 我试过几种组合，但都不起作用。。。现在，我的本地/root以及HDFS/user/root/lib中都有所有poi JAR，因此我尝试了以下方法 如何将JAR分发到所有集群节点？因为上面这些都不起作用，作业仍然无法引用该类，因为我一直收到相同的错误： 同样的命令也适用于“--master本地”，但没有指定--jar，因为我已经将我的jar复制到