pyspark应用程序的日志记录-保存在哪里？

Question

我有一个PySpark作业，它是使用SparkSubmitoOperator通过气流提交给纱线的。在python文件的测试中。py我有以下日志记录：

import logging
logger = logging.getLogger("myapp")
logger.info("this is to log")

操作器看起来像这样：

spark_etl= SparkSubmitOperator(
     task_id = "etl_job",
     name = "transform files",
     application = "test.py",
     .... 

我在Yarn应用程序管理器中检查了应用程序日志，但日志没有打印出来。我检查了这个气流任务的日志，也没有打印出来。您能帮我了解PySpark应用程序日志是如何/在哪里保存的吗？非常感谢您的帮助。

Answer 1

当您向Thread提交PySpark/Spark作业时，您的代码将在Spark创建的容器中执行。在运行时，将在容器内初始化日志记录，并将容器内的所有文件标记为“临时”，直到应用程序完成运行，然后将其删除。

除了您提交的作业状态之外，YARN不会将任何消息传输回Spark驱动程序。

查看此项以获取更多详细信息：Spark on YARN中的日志在哪里？