spark提交过程不会在作业自动完成后终止

Question

我正在提交一个pyspark作业，在客户机模式下使用spark提交。

spark-submit   \
          --name $APP_NAME \
          --master yarn \
          --deploy-mode client \
          --num-executors 16 \
          --executor-cores 1 \
          --driver-memory 6g \
          --executor-memory 2g \
          
          --py-files myfile.py
            --version 2.3 

这项工作成功完成，我可以在Spark历史记录以及纱线中验证这一点。即使在作业完成后，我仍然可以看到spark提交进程正在运行，并且不会终止。

我想从调用提交作业的调用程序中返回作业状态（Jenkins使用ssh插件发布）。有什么方法可以确保火花提交过程在完成作业后以正确的退出代码终止？

我尝试过停止火花上下文并将退出状态放在python脚本的末尾。这仍然不起作用。

sc.stop()
sys.exit(0)

这主要发生在长时间运行的作业中。我看不出集群模式有任何问题。

Answer 1

您可以将conf--部署模式更改为集群并重试。

Answer 2

您可以编写unix外壳脚本，然后您可以通过$？

  spark-submit   \
      --name $APP_NAME \
      --master yarn \
      --deploy-mode client \
      --num-executors 16 \
      --executor-cores 1 \
      --driver-memory 6g \
      --executor-memory 2g \
      
      --py-files myfile.py
        --version 2.3 

然后您可以检查状态并添加您的条件

   if [ $? -eq 0 ];then
       echo 'Success'
    else
       'fail'
   fi