当我在纱线上运行火花时，如何在作业完成后从火花网络UI获得执行DAG？

Question

我经常在火花作业运行时对DAG进行分析。但是，当应用程序运行时必须坐着看才能看到DAG，这很烦人。

因此，我尝试使用名为spark history server的东西查看DAg，我知道它可以帮助我查看过去的作业。我可以轻松访问端口18080，并且可以看到history server UI。

但是，它没有显示任何与spark程序执行相关的信息。我知道我的历史服务器正在运行，因为当我执行sudo服务时，我看到了所有状态

spark history server正在运行[正常]

所以我已经尝试了这个问题的建议：这里。

我想这是因为我在运行spark on Thread，它一次只能使用一个资源管理器？大概

那么，我如何看到火花执行DAG，*在*一个作业完成后？更具体地说，当运行YARN作为我的资源管理器时？

Answer 1

仅运行历史服务器不足以执行以前的作业。您需要指定作业来存储所有以前作业的事件日志。

通过运行Spark history server/sbin/启动历史记录服务器。sh

启用spark作业的事件日志

spark.eventLog.enabled true
spark.eventLog.dir <path to event log(local or hdfs)>
spark.history.fs.logDirectory  <path to event log(local or hdfs)>

在火花默认值上添加这些。conf文件

Answer 2

如监控和仪表中所述，我们需要在火花默认值中设置以下三个参数。形态

spark.eventLog.enabled
spark.eventLog.dir
spark.history.fs.logDirectory

第一个属性应为true

spark.eventLog.enabled           true

第二个和第三个属性应指向事件日志的位置，这些位置可以是本地文件系统或hdfs文件系统。第二个属性定义spark作业的日志存储位置，第三个属性是history server在18080的web UI中显示日志。

如果选择linux本地文件系统（/opt/spark/spark events）
或

spark.eventLog.dir               file:/opt/spark/spark-events
spark.history.fs.logDirectory    file:/opt/spark/spark-events

或

spark.eventLog.dir               file:///opt/spark/spark-events
spark.history.fs.logDirectory    file:///opt/spark/spark-events

应该管用

如果您选择hdfs-file-system（/spack-event）
要么

spark.eventLog.dir               hdfs:/spark-events
spark.history.fs.logDirectory    hdfs:/spark-events

或

spark.eventLog.dir               hdfs:///spark-events
spark.history.fs.logDirectory    hdfs:///spark-events

或

spark.eventLog.dir               hdfs://masterIp:9090/spark-events
spark.history.fs.logDirectory    hdfs://masterIp:9090/spark-events

应该在master Ip： 9090是hadoop配置的core-site.xml中的fs.default.name属性的地方工作。

Apache spark history server可以通过以下方式启动

$SPARK_HOME/sbin/start-history-server.sh

第三方spark history server（例如Cloudera）可通过以下方式启动

sudo service spark-history-server start

并停止历史服务器（用于Apache）

$SPARK_HOME/sbin/stop-history-server.sh

或（对于cloudera）

sudo service spark-history-server stop