在纱线簇上执行Spark Submit时看不到纱线作业

Question

我正在使用spark submit执行以下命令：

spark submit script\u测试。py—主纱线—部署模式群集spark submit script\u测试。py—主纱线簇—部署模式簇

这工作做得很好。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（纱线）下看到它。

我感觉我的作业没有发送到集群，但它只在一个节点上运行。但是，我认为使用Spark submit命令的方式没有任何错误。

我错了吗？我如何检查它？还是将作业发送到纱线集群？

Answer 1

当您使用主纱线时，意味着在某些地方您已经用主机、端口等配置了纱线站点。可能您使用spark submit的机器不知道纱线大师在哪里。

您可以查看hadoop/Thread/spark配置文件，特别是Thread站点。xml来检查资源管理器的主机是否正确。

这些文件位于不同的文件夹中，具体取决于您使用的Hadoop发行版。在HDP中，我猜它们在/etc/hadoop/conf中

希望有帮助。