为在纱线模式下运行的每个火花作业配置log4j

Question

我正在纱线客户端模式下运行火花作业。我在unix脚本中使用Spark提交命令运行这些作业。我想为正在运行的每个火花作业创建日志。我尝试使用以下命令获取日志：

spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class  $main_jar |& tee -a ${log_file}

但在这里，如果spark作业失败，它将不会在命令状态检查中被捕获，可能是unix检查|$tee命令的状态，无论spark作业成功还是失败，该命令始终是成功的

if [ $? -eq 0 ]; then
    echo "===========SPARK JOB COMPLETED==================" |& tee -a ${log_file}
else
    echo "===========SPARK JOB FAILED=====================" |& tee -a ${log_file}
fi

我尝试使用log4j但没有成功。我想将每个火花作业日志文件存储在本地unix服务器上。请帮忙！！

Answer 1

只要您提交spark申请。它生成一个应用程序id。由于此应用程序在分布式集群中运行，您无法通过重定向获取spark应用程序的日志。

但是，当您执行以下操作时，它只是将控制台登录重定向到文件中。

spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class  $main_jar > ${log_file}

例如，要将火花应用程序的日志记录提交给纱线集群，您需要使用纱线日志命令：

纱线日志